redis_scrapy_scrapy_redis 分布式爬虫,爬取京东在售显卡信息 使用scrapy_redis实现scrapy各个组件与redis交互 实现指纹去重集合;持久化任务队列 实现断点续爬和分布式爬虫