一个NodeJS实现的漏扫动态爬虫
- 需要搭建一个MongoDB,去docker仓库拉一个即可,然后将在
module/Databases.js
第二行中修改数据库配置信息。 - chromium修改版可以用
extension/
目录下的,也可以去这里下载:https://github.com/myvyang/chromium_for_spider/releases - 下载完成后,修改
module/Crawler.js
中的launchOptions
参数,配置chromium路径以及代理选项 - 安装同步Cookie的Chrome插件:Chrome选择More Tools->extension->load unpacked->选择文件夹
extension/syncookie
即可加载,接着浏览器右击选择插件Start Sync Cookie
即可 - 安装node环境依赖:
npm install
环境搭建有点复杂,下次更新弄一个docker一键。另外配合文章食用更佳:https://xz.aliyun.com/t/7064