Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

代理池项目中setting.py文件相关配置 #62

Open
Yu-Yv opened this issue Apr 9, 2020 · 1 comment
Open

代理池项目中setting.py文件相关配置 #62

Yu-Yv opened this issue Apr 9, 2020 · 1 comment
Assignees
Labels

Comments

@Yu-Yv
Copy link

Yu-Yv commented Apr 9, 2020

不算bug,建议:
1.在项目setting.py文件中,看到声明了LOG_DIR日志存储路径参数,但未使用。
应新建出...\project\ProxyPool\logs文件夹,并在配置文件中修改:
logger.add(env.str('LOG_RUNTIME_FILE', 'runtime.log'), level='DEBUG', rotation='1 week', retention='20 days')
logger.add(env.str('LOG_ERROR_FILE', 'error.log'), level='ERROR', rotation='1 week')

修改为:
logger.add(env.str('LOG_RUNTIME_FILE', f'{LOG_DIR}/runtime.log'), level='DEBUG', rotation='1 week', retention='20 days')
logger.add(env.str('LOG_ERROR_FILE', f'{LOG_DIR}/error.log'), level='ERROR', rotation='1 week')

2.setting.py文件中ENABLE_TESTER, ENABLE_GETTER, ENABLE_SERVER开关参数若都为False时,运行run.py文件报错(try方法中finally还会报错),可修改scheduler.py文件。(此条有点杠精,可忽略)
开关参数配置

@Yu-Yv Yu-Yv added the bug label Apr 9, 2020
@Yu-Yv Yu-Yv changed the title 代理词中setting.py文件中相关配置 代理池项目中setting.py文件相关配置 Apr 9, 2020
@Germey
Copy link
Member

Germey commented Apr 9, 2020

多谢建议,我优化一下

Germey pushed a commit that referenced this issue Jul 13, 2020
* pip使用镜像

* 获取代理时设置timeout

因为在获取某些网站公布的代理ip时,由于该网站被墙或者其他原因,导致需要几分钟才能反馈。

* 第5页之后的代理ip都是两三天之后的信息,质量很差

* 解决bug: redis有序集合变化后导致顺序重排,以至于重复test

解决bug: #73
因为redis的有序集合是按照分数进行变化的。
当修改了分数之后,再继续遍历时,会导致一部分重复遍历,一部分没有取到。
因此改为通过游标进行遍历

* 保证redis中不存在分数为0的数据

因为之前的逻辑是要么减分,要么删除。
也就是说,如果减完分之后,分数是0,那么还存在于redis中。
现在对这个逻辑进行了优化。减完分之后再和PROXY_SCORE_MIN的值进行判断。

* 解决bug:设置LOG_DIR后没有效果 #62

* 删除没用的import

* 修改pip源

* 修改BUG:获取分数和判断分数的逻辑

* 删除不能使用的代理iphai和xicidaili, 解决bug:zhandaye

* 解决bug:只获取了一次zhandaye的目录

* 解决bug:因为zhandaye的crawl没有返回值导致报错

* 恢复iphai和xicidaili。同时对这两个类增加了ignore属性

* 增加MAX_PAGE变量

* 设置pip源

* 恢复Dockerfile
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

2 participants