一个基于Python异步的高效爬虫,可以作用于多个使用Danbooru作为后端的图片网站
- 目前支持以下多个站点
- yande.re
- konachan.com
- danbooru.donmai.us
- 更多支持正在开发中
- 本程序从设计之初就考虑的接入其他下载接口的情况,只需少量代码即可添加新的站点接入
本程序采用Python新兴的异步编程特性,能够将资源利用发挥到极致
- HTTP请求完全使用httpx作为异步高效地驱动程序运行
- 在作者本人的Visual Studio Codespace上:
- 以默认配置运行平均下载速度高达20MiB/s
- 内存占用小于等于200MiB
本项目从创立起就采用pylance和mypy进行代码类型和代码格式检查,同时采用pydantic作为读写模型来进行动态的类型验证
本项目的部署和使用十分简单
-
Python3.8
或更高版本 -
齐全的Python标准库
-
将本项目代码保存到本地
打开本项目文件夹,命令行执行
pip install -r requirements.txt
即可
python3 main.py
详情请见配置文件中的注释