【python】采集每日必看黄色软件数据~

前言

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章

环境使用:

• Python 3.8
• Pycharm

模块使用:

• requests >>> pip install requests
• re
• csv

安装模块：win + R 输入cmd 输入安装命令 pip install 模块名

如果出现爆红 可能是因为 网络连接超时 切换国内镜像源

基本思路:

1. 明确需求:

   采集网站以及数据是什么?

   店铺数据

   PS: 一定要清楚, 数据是请求那个链接可以获取

   通过开发者工具进行抓包分析

   • 打开开发者工具: F12 / fn+F12 / 鼠标右键点击检查选择network
   • 点击第二页, 第一个数据包就是我们要的链接地址

     <通过关键词进行搜索,找到对应的数据包 [请求链接] >

代码怎么实现?

1. 发送请求, 模拟浏览器对url地址发送请求 <为了得到数据>
2. 获取数据, 获取服务器返回响应数据 --> response <得到所有数据>
3. 解析数据, 提取我们想要的数据内容 <得到想要的数据>
4. 保存数据, 保存表格文件

代码展示

导入模块

# 导入数据请求模块 --> 第三方模块, 需要安装 pip install requests import requests # 导入格式化输出模块 from pprint import pprint # 导入csv模块 import csv 

创建文件

f = open('烤肉.csv', mode='a', encoding='utf-8', newline=''

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/kjbd-pdakx/10246.html