Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Feature Request] chapter_crawl_delay/page_crawl_delay 預設值得更改建議 #55

Open
Kuan-Lun opened this issue Nov 16, 2024 · 1 comment
Labels
enhancement 新功能请求,或增强程序健壮性

Comments

@Kuan-Lun
Copy link
Contributor

Kuan-Lun commented Nov 16, 2024

當預設值過低時,可能觸發目標網頁的阻擋瀏覽機制。
這時再去調低 chapter_crawl_delay/page_crawl_delay 已無意義,因為該用戶當前的 IP 可能「已」被列為限制訪問的清單之中 (不可逆,至少短時間內)。
(且一般用戶可能沒有能力辨別是程式設計錯誤,或是目標伺服器執行了某些決策。)
但預設較高的 chapter_crawl_delay/page_crawl_delay 較可確保程序的運行 (成功與否),若 (進階) 用戶覺得過慢可以再自行去考慮是否調低數值。

或者,可以考慮將 chapter_crawl_delay/page_crawl_delay 列為「必須」由用戶輸入的參數項目。

我認為假設用戶在一開始使用時,是僅使用必須填入的參數較為合適 (Options 章節中,required 為 YES的參數)。

@Kuan-Lun Kuan-Lun added the enhancement 新功能请求,或增强程序健壮性 label Nov 16, 2024
@wdpm
Copy link
Member

wdpm commented Nov 16, 2024

我認為假設用戶在一開始使用時,是僅使用必須填入的參數較為合適 (Options 章節中,required 為 YES的參數)。

我采用这个建议。delay参数后续会改为required类型,问题的本质关键还是默认的delay初始值没法满足所有人的需求,而且这个delay参数会造成短期被ban ip的情形。把参数设置为强制类型,让用户自己根据自己的网络环境调参是一个合理的选择。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement 新功能请求,或增强程序健壮性
Projects
None yet
Development

No branches or pull requests

2 participants