Skip to content

Latest commit

 

History

History
23 lines (15 loc) · 1.17 KB

修改记录.md

File metadata and controls

23 lines (15 loc) · 1.17 KB

接爬虫私活,快要吃不起饭了,有需求的在公众号后台私我一下

修改记录

2017年09月14日16:38:44

  • 将 threads.py 中的与多线程池没有关系的函数移动到tools.py, 方便拓展与解耦
  • 删除原来上传时上传的不相干脚本(我的失误)
  • 增加对线程池情况的实时监控程序, 可以实时看到队列的任务数, 线程数

2017年09月20日09:25:36

  • 增加数据库的默认连接方式, 默认不连接, 通过配置脚本中connect字段进行控制

2017年09月20日11:52:26

  • 在使用过程中发现线程池那里写的有问题, 提前退出了. 后来想想应该要把工作队列和保存队列都放到主程序中,调用join方法 阻塞程序, 改动见测试脚本test.py中.

2017年09月21日14:06:50

  • 增加对于post请求方法的支持, 在队列数据中args对应的字段中添加了method与submit_data. method默认为get, 当需要 post时,修改为post即可. submit_data即为需要提交的字段,格式参照requests包,默认为None.
  • 当method为post的时候, submit_data必须定义为字典, 不得为空, 否则会直接提示错误, 程序强制退出.