该如何判断哪些数据可以爬取？
#75
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
{{ message }}
-
问题描述
我之前也整过一个综合的热榜，但是当时爬虫出事的太多了也不敢开源，有人能给我科普下怎么看数据是不是可以爬吗？
比如csdn的热榜csdnhot这个接口上的数据，按道理robots.txt中是有
/*?*的，就是代表不能添加请求参数吧？结果我把参数去掉，请求成功了，那这页的内容可以获取吗？补充信息
No response
Beta Was this translation helpful? Give feedback.
All reactions