phpspider-2.1.6-stable
替换所有init_mysql为_init
解决缓存数据量太大清空redis的性能问题
解决url匹配不够完美问题
增加redis集合,可以随机读取url进行采集,进行多域并发,缩短redis前缀,减少redis占用空间,增加记录采集慢的URL,增加泛域名采集,增加每个进程采集域名数量配
替换所有init_mysql为_init
解决缓存数据量太大清空redis的性能问题
解决url匹配不够完美问题
增加redis集合,可以随机读取url进行采集,进行多域并发,缩短redis前缀,减少redis占用空间,增加记录采集慢的URL,增加泛域名采集,增加每个进程采集域名数量配