Python爬取微博关键词,并且记录相关数据 : 有需要帮助的话可以加微信:ytouching (有偿解决问题,拒绝白嫖哈)
优势在于:
- 完善的数据写入机制,方便用户进行数据分析
- 针对于搜索日期进行优化,有增加了对时间间隔的处理
- 每天对单个关键词至多可以爬取50页的数据
-
需要Python3.8 +的版本
-
安装依赖环境
pip install -r requirements.txt
- 配置cookie
在
config.py
文件g_weibo_headers
修改cookie,
(重要重要)cookie从谷歌浏览器上https://s.weibo.com/
,用户需要登录后中获取
2.main.py
中修改search_config
配置相关搜索信息
- 运行程序
执行脚本
python main.py
借鉴了https://github.com/nghuyong/WeiboSpider
的相关代码
-
if you want to join the projects to contribute the code to this project, you can email [email protected] or [email protected], or connect with wechat: ytouching
-
如果想加入这个工程一起贡献开源代码的话,欢迎联系邮箱: [email protected] 或者 [email protected] 或者微信: ytouching
使用过程中存在任何问题,麻烦联系邮箱[email protected]
,
或者微信ytouching
觉得对大家有用的话,欢迎支持,作者也将继续支持爬虫等更新
-
优化代码【已完成】
-
增加搜索多个关键词的功能 【已完成】
-
自动生成cookie的功能