我们在用爬虫采集数据时经常会遇到IP被封的情况,那么这种情况要怎么解决的?
工具/原料
1
ForeSpider数据采集系统软件
2
代理IP
方法/步骤
1
1.启用IP代理打开“启用IP代理”按钮,才能启用IP代理功能。
2
2.启用代理加速启用代理加速后,可以在采集过程中自动筛选无效和低效率的代理IP(屏蔽错误率超过50%,请求次数>3次的IP),优先使用高效的代理,提升采集的效率和数据质量。3.本机IP混用策略当代理IP失效时,选择是否启用本地网络。4.添加代理启用代理后,在IP资源列表中点击“+”添加一个资源,在弹框中填写资源名称,选择静态动态代理,填写请求频率和备注。创建好ip资源之后,点击页面右侧的加号,填写IP地址,端口选择代理类型,填写用户名和密码。这样代理IP就配置好了。
3
3.本机IP混用策略当代理IP失效时,选择是否启用本地网络。
4
4.添加代理启用代理后,在IP资源列表中点击“+”添加一个资源,在弹框中填写资源名称,选择静态动态代理,填写请求频率和备注。创建好ip资源之后,点击页面右侧的加号,填写IP地址,端口选择代理类型,填写用户名和密码。这样代理IP就配置好了。
5
【案例1】配置静态代理IP在数据采集时我们一般用到的是静态代理IP,以阿布云为例,购买之后会展示在阿布云官网的http隧道中。1. 创建IP资源启用代理IP之后,点击IP资源列表左侧加号,填写代理资源名称,请求频率对照购买的每秒请求数填写点击确定,并勾选点击保存。
6
点击右侧加号添加代理,对应关系见下表:ForeSpider阿布云IP地址隧道服务器地址端口端口类型https代理用户名通行证书密码通行秘钥添加好代理账号,点击保存就完成了代理IP的配置。
下一篇:去华东旅游什么时候好玩