Python爬虫程序
IP代理API端口
实现机制如图:数据转发流程:1 ).连接接入服务器(proxy.360pdown.com:88)2 ).发送数据至接入服务器3 ).接入服务器从 IP 池中选择一个合适的 IP(x.x.x.x)并把数据转发到此 IP4 ).x.x.x.x 访问真实服务器并按原路回送数据
2.如何使用1).申请使用账号(以 lt_test_1 为例)2).使用ip代理提供的 API 申请使用端口(此端口为代理服务器使用端口)TXT格式json格式3).设置代理(手动代理或者编程实现)ip 为服务器,端口为上一步申请的端口;4).使用端口进行常规访问 5).释放端口
3.API使用说明API 请求示例: 请求分配端口示例:http://proxy.360pdown.com:88/open?user_name=lt_test_1×tamp=&md5=AABBCCDDEEFF&pattern=json&number=2&province=510000&city=510100请求各字段含义:user_name 是给用户分配的用户名timestamp 是当前时间戳,每次不能重复,必须比上次的值大(单位为 ms)md5 是 md5(user_name+password +timestamp),timestamp 要转为字符形式。password 为分配给用户的密码。pattern 响应数据格式(txt|json)number 请求分配的代理个数(最小为 1,最大 200)province 请求分配IP所在省份(如无要求可不添加)city 请求分配IP所在城市(如无需求可不添加)省市编号详见我方提供的文档响应: json 格式:{ “code”: 100, “left_ip”: 4914, “left_time”: 1876270, “number”: 2, “domain”: “ip.feiyiproxy.com”, “port”: [ 14343, 14344 ] }响应各字段含义:code 为响应代码号left_ip 为账号上一次申请后剩余IP数left_time为账号剩余使用时间(单位秒)number 为本次申请个数domain 为使用代理的IP(此IP为我方服务器,非实际使用IP)port 为代理端口号响应: txt 格式: 112ip.feiyiproxy.com:14352ip.feiyiproxy.com:14353响应各字段含义:第一行为响应状态第二行为为账号上一次申请后剩余IP数第三行为账号剩余使用时间(单位秒)第四行为本次申请IP数量第五行为代理IP和代理端口(此行以下内容全部为IP和端口)状态查询接口 :http://proxy.360pdown.com:88/query?user_name=lt_test_1×tamp=&md5=AABBCCDDEEFF&pattern=json响应:{ “code”: 100, “left_ip”: 4901, “left_time”: 1873130, “used”: 0, “inuse”: 1, “port”: [ 10006 ] }code 为响应代码号left_ip 为账号上一次申请后剩余IP数left_time为账号剩余使用时间(单位秒)used 表示当前已使用的 ip 数量,inuse 表示当前正在使用的 ip 数量,port 表示当前正使用的端口号列表注:最多返回 200 个端口号
碰到异常状态可进行的操作; 释放代理端口: http://proxy.360pdown.com:88/close?user_name=lt_test_1×tam p=&md5=AABBCCDDEEFF&pattern=json&port=xxxxx
使用代理IP请遵守国家法律法规