您的位置:新闻资讯 >文章内容
http状态码报错处理方法
来源:互联网 作者:admin 时间:2019-09-07 17:02:23

  http状态码报错处理方法

http状态码报错处理方法

  (1)代理提取失败

  停止程序访问,直接使用IE浏览器访问代理API,截图看看错误提示:

  Ø如果页面访问失败

  注意API链接是否复制正确;爬虫服务器是否有防火墙禁止网络访问;服务器是Linux提取api,是需要转义,&符号前面要加\

  Ø页面访问成功,返回错误信息,需要看看错误信息内容

  ²您的IP:125.69.47.134 没在白名单( 125.69.44.227 222.209.8.0 )中

  原因:ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP

  ²修改IP白名单太频繁

  原因:1、ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP,同时注意对方是不是开启了IP自动更新选项,如果对方有多个网络出口,就会导致ip自动更新频繁。

  ²False,没有获取到任何代理,速率超过限制

  原因:一条代理API链接只能按照指定时间间隔进行访问,注意程序是不是有多个线程访问或一个服务器下有多个软件运行,超出了代理链接提取速度,请用浏览器访问代理API链接,看看中文提示错误描述。如果服务器每秒请求超过一次,会被判断为DDOS攻击行为,直接黑名单处理,停止该行为一段时间后会自动恢复访问许可。

  (2)代理提取之后,代理不能访问或访问失败率很高

  原因:提取和使用代理IP的机器是不是都绑定了IP白名单,注意看看对方服务器IP是不是电信或联通的IP;

  (3)代理能访问,偶尔出现访问失败或提取失败

  原因:注意看看对方服务器IP是不是电信或联通的IP,同时询问对方是不是多个IP白名单的情况下,开启了IP自动更新出现了冲突;对方是否控制了代理IP的使用时间,超出了2-10分钟,导致IP失效。

  (4)代理能访问,出现大量429

  原因:要求对方控制每个代理IP的请求数,最好一个代理IP一个线程,避免出现阻塞,同时建议客户增加IP提取量 推荐阅读:静态IP和动态IP的区别

  (5)提取的代理IP都是相同IP

  原因:部分地区为保证网络速度、降低网络延迟,提供IP隧道代理,该代理通过固定IP+随机端口,在一个时间点上随机分配一个外网IP(又称:公网IP),因此统计代理IP的重复率是不准确的。

  (6)代理能访问,出现大量403、504或503

  原因:爬虫程序的采集行为被网站标识并拒绝服务,求对方控制每个代理IP的请求数,并且增加IP提取量。


相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961