Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

验证码不转跳 #487

Open
MandyHenderson opened this issue Nov 6, 2024 · 17 comments
Open

验证码不转跳 #487

MandyHenderson opened this issue Nov 6, 2024 · 17 comments

Comments

@MandyHenderson
Copy link

image

@MandyHenderson
Copy link
Author

页面刷新里面没有验证码,还是主页

@ImXiangYu
Copy link

我也出现了这样的情况,只是提示我出现验证码要手动验证,但是还没验证就已经提示了“用户完成验证”,反复几次之后程序就自动退出了

@MandyHenderson
Copy link
Author

我也出现了这样的情况,只是提示我出现验证码要手动验证,但是还没验证就已经提示了“用户完成验证”,反复几次之后程序就自动退出了

我是没提示完成直接就是退了,然后页面里面没有验证。。很夸张然后退了

@HMZ76
Copy link

HMZ76 commented Nov 8, 2024

兄弟们这个怎么解决啊

@TakaSoap
Copy link

+1

1 similar comment
@Buzzkiller7
Copy link

+1

@NanmiCoder
Copy link
Owner

@lyx0727 hello,可以帮忙看下这个问题么,是不是它们把打开了无头模式。

@ImXiangYu
Copy link

@lyx0727 hello,可以帮忙看下这个问题么,是不是它们把打开了无头模式。

应该不是无头模式的问题,我用的不是无头模式。可能是小红书改了机制,出现验证码后跳转到笔记页面,需要随便点开一个笔记才能显示验证码,我看代码里的逻辑是只要回到了笔记页面就认为用户已经通过了验证,好像是这里的问题?

@lyx0727
Copy link
Contributor

lyx0727 commented Nov 11, 2024

@lyx0727 hello,可以帮忙看下这个问题么,是不是它们把打开了无头模式。

应该不是无头模式的问题,我用的不是无头模式。可能是小红书改了机制,出现验证码后跳转到笔记页面,需要随便点开一个笔记才能显示验证码,我看代码里的逻辑是只要回到了笔记页面就认为用户已经通过了验证,好像是这里的问题?

确实是这个问题,我看看怎么改

@TakaSoap
Copy link

@lyx0727 hello,可以帮忙看下这个问题么,是不是它们把打开了无头模式。

应该不是无头模式的问题,我用的不是无头模式。可能是小红书改了机制,出现验证码后跳转到笔记页面,需要随便点开一个笔记才能显示验证码,我看代码里的逻辑是只要回到了笔记页面就认为用户已经通过了验证,好像是这里的问题?

我的情况是点开笔记也不出现验证码,能够正常浏览,但代码获取不到笔记内容

@lyx0727
Copy link
Contributor

lyx0727 commented Nov 12, 2024

@lyx0727 hello,可以帮忙看下这个问题么,是不是它们把打开了无头模式。

应该不是无头模式的问题,我用的不是无头模式。可能是小红书改了机制,出现验证码后跳转到笔记页面,需要随便点开一个笔记才能显示验证码,我看代码里的逻辑是只要回到了笔记页面就认为用户已经通过了验证,好像是这里的问题?

我的情况是点开笔记也不出现验证码,能够正常浏览,但代码获取不到笔记内容

是的,我这边也无法获取验证码,目前不太清楚该如何修改XD

@MandyHenderson
Copy link
Author

@lyx0727 hello,可以帮忙看下这个问题么,是不是它们把打开了无头模式。

应该不是无头模式的问题,我用的不是无头模式。可能是小红书改了机制,出现验证码后跳转到笔记页面,需要随便点开一个笔记才能显示验证码,我看代码里的逻辑是只要回到了笔记页面就认为用户已经通过了验证,好像是这里的问题?

我的情况是点开笔记也不出现验证码,能够正常浏览,但代码获取不到笔记内容

是的,我这边也无法获取验证码,目前不太清楚该如何修改XD

想知道目前该问题修复了吗

@SKFE396
Copy link

SKFE396 commented Nov 18, 2024

我这里也遇到同样的问题,我现在是刚开始爬取以后没多久会正常跳转到验证码,手动验证以后再爬,没多久就会出现这个情况,浏览器地址栏里面跳转到了检测到的href,但是页面没有显示任何验证码而是刷新了一遍主页。是不是获取详情用的接口有限制?有没有其它接口可用?

@NanmiCoder
Copy link
Owner

目前代码中已经将弹窗手动滑块的代码remove了,主要原因是手动通过playwright浏览器过滑块的失败率很高。

目前获取帖子详情的策略是:先尝试携带cookie获取xhs详情网页html,如果失败了尝试不携带cookie访问xhs详情页网页html,两者都失败了,最后使用直接API请求兜底看能否获取到数据。

@otomegreen
Copy link

目前代码中已经将弹窗手动滑块的代码remove了,主要原因是手动通过playwright浏览器过滑块的失败率很高。

目前获取帖子详情的策略是:先尝试携带cookie获取xhs详情网页html,如果失败了尝试不携带cookie访问xhs详情页网页html,两者都失败了,最后使用直接API请求兜底看能否获取到数据。

请问现在repo里的代码是已经这样修改过的吗?我遇到的情况是换新号登录后也弹出验证滑块,手动验证一直失败。

@TakaSoap
Copy link

TakaSoap commented Dec 3, 2024

目前代码中已经将弹窗手动滑块的代码remove了,主要原因是手动通过playwright浏览器过滑块的失败率很高。
目前获取帖子详情的策略是:先尝试携带cookie获取xhs详情网页html,如果失败了尝试不携带cookie访问xhs详情页网页html,两者都失败了,最后使用直接API请求兜底看能否获取到数据。

请问现在repo里的代码是已经这样修改过的吗?我遇到的情况是换新号登录后也弹出验证滑块,手动验证一直失败。

一个可能的workaround是,在正常浏览器中登录你的账号,随便浏览下,如果出现验证码手动通过,最后再回来重试看看。

@otomegreen
Copy link

目前代码中已经将弹窗手动滑块的代码remove了,主要原因是手动通过playwright浏览器过滑块的失败率很高。
目前获取帖子详情的策略是:先尝试携带cookie获取xhs详情网页html,如果失败了尝试不携带cookie访问xhs详情页网页html,两者都失败了,最后使用直接API请求兜底看能否获取到数据。

请问现在repo里的代码是已经这样修改过的吗?我遇到的情况是换新号登录后也弹出验证滑块,手动验证一直失败。

一个可能的workaround是,在正常浏览器中登录你的账号,随便浏览下,如果出现验证码手动通过,最后再回来重试看看。

两头登录会被踢。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

9 participants