Skip to content

issues Search Results · repo:Karmenzind/fp-server language:Python

Filter by

19 results
 (55 ms)

19 results

inKarmenzind/fp-server (press backspace or delete to remove)

Karmenzind/fp-server
无用网站！！！

经测试，IP海已经停止服务（访问生么页面都是404/500） 希望修改一下站点列表
  • tkp30
  • 1
  • Opened 
    on Feb 5, 2020
  • #19

Karmenzind/fp-server
ip的有效检测准确性有待提高

晚上用fp_server跑了个guzzle爬虫,采集的时候有许多都是无效ip 我甚至把config中的个数拔高到5000个,定时从3600改到300. 4000多个真正可用的不到10% 后来,我用另一个http://123.207.35.36:5010/get/的ip直接测试,准确率到80%. 这个说明我们的检测是不是不够到位.
  • amhoho
  • 2
  • Opened 
    on Nov 28, 2018
  • #18

Karmenzind/fp-server
[建议]能否精简一下api,感觉过于繁琐,许多字段用不上的.

/api/proxy/ { code : 0, msg : success , data : { count : 1, detail : [{ ip : 91.196.39.196 , scheme : https , port : 32585 , need_auth : 0 , url : https://91.196.39.196:32585 , anonymity ...
discussion
  • amhoho
  • 2
  • Opened 
    on Nov 28, 2018
  • #17

Karmenzind/fp-server
重启后会ip池就会清空是什么情况,不是持久的吗?

重启后会ip池就会清空了,不知道什么情况,测了几回都是一样的.
  • amhoho
  • 1
  • Opened 
    on Nov 28, 2018
  • #16

Karmenzind/fp-server
提供两代理站点,不过没有测试有效率

米扑代理; https://proxy.mimvp.com/freesecret.php?proxy=in_hp sort= page=1 西拉免费代理: http://www.xiladaili.com/gaoni/ http://www.xiladaili.com/https/ http://www.xiladaili.com/http/ http://nimadaili.com/gaoni/ ...
contribution
  • amhoho
  • 1
  • Opened 
    on Nov 28, 2018
  • #15

Karmenzind/fp-server
报错了,centos+py3.7.1

File /usr/local/lib/python3.7/site-packages/scrapy/middleware.py , line 34, in from_settings mwcls = load_object(clspath) File /usr/local/lib/python3.7/site-packages/scrapy/utils/misc.py ...
compatibility
  • amhoho
  • 3
  • Opened 
    on Nov 27, 2018
  • #14

Karmenzind/fp-server
我希望大佬能够写一篇关于这个项目大致思路，或者关于tornado于scrapy进行交互的文章

在网上面找了一些关于scrapy嵌入到web的方式，但是都有些不太满意，而且主要看到了Django和scrapy，或者是通过scrapyd来进行操控。 这个项目源码我也看了一些，但是异步的部分是在是不怎么懂，特别是在tornado中get，post方法那些地方，没有找到大佬究竟做了什么事，那些属性或者方法是在什么地方写进去的。 image 确实很多不理解的地方，我学的还是太浅了
discussion
  • hfldqwe
  • 5
  • Opened 
    on Oct 9, 2018
  • #13

Karmenzind/fp-server
老大的程序很稳定

`1 爬虫名称: xicidaili 运行状态: 正在运行 最后运行时间: 2018-08-17 23:42:02 运行时长: 0年2天0小时48分58秒 2 爬虫名称: coolproxy 运行状态: 正在运行 最后运行时间: 2018-08-17 23:42:02 运行时长: 0年2天0小时48分58秒 3 爬虫名称: checker 运行状态: 正在运行 最后运行时间: 2018-08-17 ...
discussion
  • ooabcoo
  • 1
  • Opened 
    on Aug 19, 2018
  • #12

Karmenzind/fp-server
显示:服务器内部错误

一直抓取不到代理 /api/status/ { code : 0, msg : success , data : { spiders : [{ status : stopped , name : coderbusy , last_start_time : 1533775630 }, { status : stopped , name : kuaidaili , last_start_time : 1533775630 ...
  • ooabcoo
  • 11
  • Opened 
    on Aug 9, 2018
  • #11

Karmenzind/fp-server
老大,改一下在windows下运行吧,不要用Docker,实在太卡

老大,改一下在windows下运行吧,不要用Docker,实在太卡
enhancement
  • ooabcoo
  • 1
  • Opened 
    on Aug 8, 2018
  • #10
Issue origami icon

Learn how you can use GitHub Issues to plan and track your work.

Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub Issues
ProTip! 
Press the
/
key to activate the search input again and adjust your query.
Issue origami icon

Learn how you can use GitHub Issues to plan and track your work.

Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub Issues
ProTip! 
Press the
/
key to activate the search input again and adjust your query.
Issue search results · GitHub