Skip to content

爬取微博关键词相关信息,有需要合作加微信: ytouching

License

Notifications You must be signed in to change notification settings

huifeng-kooboo/weibo_keyword_crawl

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

36 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

weibo_keyword_crawl

Python爬取微博关键词,并且记录相关数据 : 有需要帮助的话可以加微信:ytouching (有偿解决问题,拒绝白嫖哈)

优势在于:

  1. 完善的数据写入机制,方便用户进行数据分析
  2. 针对于搜索日期进行优化,有增加了对时间间隔的处理
  3. 每天对单个关键词至多可以爬取50页的数据

环境安装

  1. 需要Python3.8 +的版本

  2. 安装依赖环境 pip install -r requirements.txt

如何使用

  1. 配置cookie 在config.py文件 g_weibo_headers修改cookie,

(重要重要)cookie从谷歌浏览器上https://s.weibo.com/,用户需要登录后中获取

2.main.py中修改search_config配置相关搜索信息

  1. 运行程序 执行脚本python main.py

参考部分

借鉴了https://github.com/nghuyong/WeiboSpider 的相关代码


Join


使用Q&A

使用过程中存在任何问题,麻烦联系邮箱[email protected], 或者微信ytouching

支持捐赠 Sponsor

觉得对大家有用的话,欢迎支持,作者也将继续支持爬虫等更新

支付宝收款码

微信收款码


todo

  • 优化代码【已完成】

  • 增加搜索多个关键词的功能 【已完成】

  • 自动生成cookie的功能

About

爬取微博关键词相关信息,有需要合作加微信: ytouching

Topics

Resources

License

Code of conduct

Security policy

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published