本工具用来爬取kuaidaili.com的免费代理并保存至CSV,格式参见测试CSV。 可配合我写的JD相关工具使用
get_iplist('ip.csv',3,'inha') #参数为(文件名,页数,代理类别);代理类别包含4种(inha:国内高匿,intr:国内普通,outha:国外高匿,outtr:国外普通)
out:
Page 1
171.38.181.79 8123 HTTP 广西壮族自治区钦州市 联通 1秒 2017-03-05 22:38:39
117.175.183.10 4860 HTTP 中国 四川省 成都市 移动 1秒 2017-03-05 21:38:49
118.181.162.31 8998 HTTP 中国 甘肃省 兰州市 电信 1秒 2017-03-05 20:38:45
117.175.183.10 8000 HTTP 中国 四川省 成都市 移动 3秒 2017-03-05 19:38:48
36.47.196.145 8998 HTTP 中国 陕西省 西安市 电信 1.0秒 2017-03-05 18:38:34
117.90.5.10 9000 HTTP 中国 江苏省 镇江市 电信 2秒 2017-03-05 17:38:47
117.90.1.34 9000 HTTP 中国 江苏省 镇江市 电信 2秒 2017-03-05 16:38:44
117.90.6.134 9000 HTTP 中国 江苏省 镇江市 电信 1秒 2017-03-05 15:38:42
125.123.76.134 8998 HTTP 中国 浙江省 嘉兴市 电信 2秒 2017-03-05 14:38:46
125.67.75.53 9000 HTTP 中国 四川省 遂宁市 电信 3秒 2017-03-05 13:38:37
115.28.169.160 8118 HTTP 中国 山东省 青岛市 阿里云 3秒 2017-03-05 12:38:34
117.90.1.35 9000 HTTP 中国 江苏省 镇江市 电信 0.9秒 2017-03-05 11:38:40
111.72.126.161 808 HTTP 中国 江西省 吉安市 电信 秒 2017-03-05 10:38:36
121.232.148.94 9000 HTTP 中国 江苏省 镇江市 电信 2秒 2017-03-05 09:38:42
……