Golang开发的网页链接爬虫
- 支持基于域名的结果显示
- 支持深度爬取与单独爬取
- 支持结果输出至文件
-h
打印帮助页面
-u
指定目标（需指明协议） 如：https://www.jd.com
-d
使用深度爬取，每爬取到一属于目标域名下的地址则启用goroutine对其进行爬取。
使用深度爬取时会自动将输出至域名.txt文件内。
go run LinkDigger.go -u https://www.jd.com -d
- 基于域名的链接挖掘
- 多线程
- txt标准输出
-
Notifications
You must be signed in to change notification settings - Fork 1
zzy2210/LinkDigger
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
golang编写的网站资源链接爬虫
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published