-
Notifications
You must be signed in to change notification settings - Fork 50
/
ddl_version1.2.sql
112 lines (108 loc) · 6.56 KB
/
ddl_version1.2.sql
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
DROP DATABASE IF EXISTS proxyipcenter;
CREATE DATABASE proxyipcenter;
USE proxyipcenter;
CREATE TABLE `domainip` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
`domain` varchar(255) NOT NULL COMMENT '域名',
`proxy_id` bigint(20) DEFAULT NULL COMMENT '代理IP的ID',
`ip` char(20) NOT NULL COMMENT 'IP地址',
`port` int(4) DEFAULT NULL COMMENT '端口号',
`domain_score` bigint(20) DEFAULT '0' COMMENT '域名下打分',
`domain_score_date` datetime DEFAULT NULL COMMENT '打分时间',
`createtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`speed` bigint(20) DEFAULT NULL COMMENT 'ping值',
`test_url` varchar(1024) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `domainmeta` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
`domain` varchar(255) NOT NULL COMMENT '域名',
`is_foreign` tinyint(1) DEFAULT NULL COMMENT '是否必须是国外',
`is_domestic` tinyint(1) DEFAULT NULL COMMENT '是否必须在国内',
`is_allow_lost_header` tinyint(1) DEFAULT NULL COMMENT '是否允许丢失头部',
`has_https` tinyint(1) DEFAULT NULL COMMENT '该域名下是否存在https',
`support_isp` varchar(255) DEFAULT NULL COMMENT '所支持的isp',
`last_access_time` datetime DEFAULT NULL COMMENT '最后访问时间',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `proxy` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
`ip` char(20) NOT NULL COMMENT 'IP地址',
`proxy_ip` char(20) DEFAULT NULL COMMENT '代理IP，也就是目标网站最终看到的IP（多级代理的情况ip和proxy_ip不会相同）',
`port` int(5) DEFAULT NULL COMMENT '端口号',
`ip_value` bigint(20) DEFAULT NULL COMMENT 'ip的数字表示，用于过滤连续IP问题',
`country` varchar(255) DEFAULT NULL COMMENT '国家',
`area` varchar(255) DEFAULT NULL COMMENT '地区',
`region` varchar(255) DEFAULT NULL COMMENT '省',
`city` varchar(255) DEFAULT NULL COMMENT '市',
`isp` varchar(255) DEFAULT NULL COMMENT '运营商',
`country_id` varchar(20) DEFAULT NULL COMMENT '国家代码',
`area_id` varchar(20) DEFAULT NULL COMMENT '地区代码',
`region_id` varchar(20) DEFAULT NULL COMMENT '省级代码',
`city_id` varchar(20) DEFAULT NULL COMMENT '城市代码',
`isp_id` varchar(20) DEFAULT NULL COMMENT 'isp代码',
`address_id` bigint(20) DEFAULT NULL COMMENT '地理位置ID，融合各个地理位置获取的一个数字，数值约接近表示实际地理位置约接近',
`transperent` tinyint(4) DEFAULT NULL COMMENT '透明度(高匿，普通，透明)',
`speed` bigint(20) DEFAULT NULL COMMENT '连接时间（越小速度越快）',
`type` tinyint(4) DEFAULT NULL COMMENT '类型（http，https,httpAndHttps,socket,qq）',
`connection_score` bigint(20) NOT NULL DEFAULT '0' COMMENT '连接性打分',
`availbel_score` bigint(20) NOT NULL DEFAULT '0' COMMENT '可用性打分',
`connection_score_date` datetime DEFAULT NULL COMMENT '连接性打分时间',
`availbel_score_date` datetime DEFAULT NULL COMMENT '可用性打分时间',
`createtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '收录时间',
`support_gfw` tinyint(1) DEFAULT NULL COMMENT '是否支持翻墙',
`gfw_speed` bigint(20) DEFAULT NULL COMMENT '翻墙访问速度',
`source` varchar(255) DEFAULT NULL COMMENT '资源来源url',
`crawler_key` varchar(255) DEFAULT NULL COMMENT '爬虫key，用户统计爬虫收集分布',
`lostheader` tinyint(1) DEFAULT NULL COMMENT '是否会丢失http头部',
`post` tinyint(1) DEFAULT NULL COMMENT '是否支持post',
PRIMARY KEY (`id`),
KEY `uniqe_ip` (`ip`,`port`),
KEY `connection_score` (`connection_score`),
KEY `availbel_score` (`availbel_score`),
KEY `score` (`availbel_score`,`connection_score`),
KEY `update_area` (`country`,`area`),
KEY `date_time` (`createtime`),
KEY `availbel` (`availbel_score`,`availbel_score_date`),
KEY `connect` (`connection_score`,`connection_score_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `proxy_low_quality` (
`id` bigint(20) NOT NULL COMMENT '主键',
`ip` char(20) NOT NULL COMMENT 'IP地址',
`proxy_ip` char(20) DEFAULT NULL COMMENT '代理IP，也就是目标网站最终看到的IP（多级代理的情况ip和proxy_ip不会相同）',
`port` int(5) DEFAULT NULL COMMENT '端口号',
`ip_value` bigint(20) DEFAULT NULL COMMENT 'ip的数字表示，用于过滤连续IP问题',
`country` varchar(255) DEFAULT NULL COMMENT '国家',
`area` varchar(255) DEFAULT NULL COMMENT '地区',
`region` varchar(255) DEFAULT NULL COMMENT '省',
`city` varchar(255) DEFAULT NULL COMMENT '市',
`isp` varchar(255) DEFAULT NULL COMMENT '运营商',
`country_id` varchar(20) DEFAULT NULL COMMENT '国家代码',
`area_id` varchar(20) DEFAULT NULL COMMENT '地区代码',
`region_id` varchar(20) DEFAULT NULL COMMENT '省级代码',
`city_id` varchar(20) DEFAULT NULL COMMENT '城市代码',
`isp_id` varchar(20) DEFAULT NULL COMMENT 'isp代码',
`address_id` bigint(20) DEFAULT NULL COMMENT '地理位置ID，融合各个地理位置获取的一个数字，数值约接近表示实际地理位置约接近',
`transperent` tinyint(4) DEFAULT NULL COMMENT '透明度(高匿，普通，透明)',
`speed` bigint(20) DEFAULT NULL COMMENT '连接时间（越小速度越快）',
`type` tinyint(4) DEFAULT NULL COMMENT '类型（http，https,httpAndHttps,socket,qq）',
`connection_score` bigint(20) NOT NULL DEFAULT '0' COMMENT '连接性打分',
`availbel_score` bigint(20) NOT NULL DEFAULT '0' COMMENT '可用性打分',
`connection_score_date` datetime DEFAULT NULL COMMENT '连接性打分时间',
`availbel_score_date` datetime DEFAULT NULL COMMENT '可用性打分时间',
`createtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '收录时间',
`support_gfw` tinyint(1) DEFAULT NULL COMMENT '是否支持翻墙',
`gfw_speed` bigint(20) DEFAULT NULL COMMENT '翻墙访问速度',
`source` varchar(255) DEFAULT NULL COMMENT '资源来源url',
`crawler_key` varchar(255) DEFAULT NULL COMMENT '爬虫key，用户统计爬虫收集分布',
`lostheader` tinyint(1) DEFAULT NULL COMMENT '是否会丢失http头部',
PRIMARY KEY (`id`),
KEY `uniqe_ip` (`ip`,`port`),
KEY `connection_score` (`connection_score`),
KEY `availbel_score` (`availbel_score`),
KEY `score` (`availbel_score`,`connection_score`),
KEY `update_area` (`country`,`area`),
KEY `date_time` (`createtime`),
KEY `availbel` (`availbel_score`,`availbel_score_date`),
KEY `connect` (`connection_score`,`connection_score_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;