We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
不算bug,建议: 1.在项目setting.py文件中,看到声明了LOG_DIR日志存储路径参数,但未使用。 应新建出...\project\ProxyPool\logs文件夹,并在配置文件中修改: logger.add(env.str('LOG_RUNTIME_FILE', 'runtime.log'), level='DEBUG', rotation='1 week', retention='20 days') logger.add(env.str('LOG_ERROR_FILE', 'error.log'), level='ERROR', rotation='1 week')
修改为: logger.add(env.str('LOG_RUNTIME_FILE', f'{LOG_DIR}/runtime.log'), level='DEBUG', rotation='1 week', retention='20 days') logger.add(env.str('LOG_ERROR_FILE', f'{LOG_DIR}/error.log'), level='ERROR', rotation='1 week')
2.setting.py文件中ENABLE_TESTER, ENABLE_GETTER, ENABLE_SERVER开关参数若都为False时,运行run.py文件报错(try方法中finally还会报错),可修改scheduler.py文件。(此条有点杠精,可忽略)
The text was updated successfully, but these errors were encountered:
多谢建议,我优化一下
Sorry, something went wrong.
解决bug: redis有序集合变化后导致顺序重排,以至于重复test (#78)
737998f
* pip使用镜像 * 获取代理时设置timeout 因为在获取某些网站公布的代理ip时,由于该网站被墙或者其他原因,导致需要几分钟才能反馈。 * 第5页之后的代理ip都是两三天之后的信息,质量很差 * 解决bug: redis有序集合变化后导致顺序重排,以至于重复test 解决bug: #73 因为redis的有序集合是按照分数进行变化的。 当修改了分数之后,再继续遍历时,会导致一部分重复遍历,一部分没有取到。 因此改为通过游标进行遍历 * 保证redis中不存在分数为0的数据 因为之前的逻辑是要么减分,要么删除。 也就是说,如果减完分之后,分数是0,那么还存在于redis中。 现在对这个逻辑进行了优化。减完分之后再和PROXY_SCORE_MIN的值进行判断。 * 解决bug:设置LOG_DIR后没有效果 #62 * 删除没用的import * 修改pip源 * 修改BUG:获取分数和判断分数的逻辑 * 删除不能使用的代理iphai和xicidaili, 解决bug:zhandaye * 解决bug:只获取了一次zhandaye的目录 * 解决bug:因为zhandaye的crawl没有返回值导致报错 * 恢复iphai和xicidaili。同时对这两个类增加了ignore属性 * 增加MAX_PAGE变量 * 设置pip源 * 恢复Dockerfile
Germey
No branches or pull requests
不算bug,建议:
1.在项目setting.py文件中,看到声明了LOG_DIR日志存储路径参数,但未使用。
应新建出...\project\ProxyPool\logs文件夹,并在配置文件中修改:
logger.add(env.str('LOG_RUNTIME_FILE', 'runtime.log'), level='DEBUG', rotation='1 week', retention='20 days')
logger.add(env.str('LOG_ERROR_FILE', 'error.log'), level='ERROR', rotation='1 week')
修改为:
logger.add(env.str('LOG_RUNTIME_FILE', f'{LOG_DIR}/runtime.log'), level='DEBUG', rotation='1 week', retention='20 days')
logger.add(env.str('LOG_ERROR_FILE', f'{LOG_DIR}/error.log'), level='ERROR', rotation='1 week')
2.setting.py文件中ENABLE_TESTER, ENABLE_GETTER, ENABLE_SERVER开关参数若都为False时,运行run.py文件报错(try方法中finally还会报错),可修改scheduler.py文件。(此条有点杠精,可忽略)
The text was updated successfully, but these errors were encountered: