您的位置:新闻资讯 >文章内容
使用代理IP爬虫采集的认知误区
来源:本站 作者:admin 时间:2019-05-08 14:17:29

大部分人都知道,在使用爬虫多次爬取同一网站时,经常会被网站的IP反爬虫机制给禁掉,为了解决封禁 IP 的问题通常会使用代理IP。


但也有一部分人在代理IP的使用上存在着误解,他们认为使用了代理IP就能解决一切问题,然而实际上代理IP不是万能的,它只是一个工具,如果使用不当,一样会被封IP。


代理IP


代理IP分三种类型:透明代理、普通匿名代理、高级匿名代理。


高匿、匿名和透明代理的主要区别在于对方服务器获取REMOTE_ADDR、_X_FORWARDED_FOR、_VIA三个参数的区别。


众所周知,REMOTE_ADDR是无法伪造的。


使用透明代理(Transparent),对方服务器知道你使用了代理,也知道你的真实IP。REMOTE_ADDR=ProxyIP,_VIA=ProxyIP,_X_FORWARDED_FOR=YourIP


使用匿名代理(Anonymous),对方服务器知道你使用了代理,但不知道你的真实IP。REMOTE_ADDR=ProxyIP,_VIA=ProxyIP,_X_FORWARDED_FOR=ProxyIP


使用高匿名代理(High),对方服务器不知道你使用了代理,也不知道你的真实IP。REMOTE_ADDR=ProxyIP,_VIA=NULL,_X_FORWARDED_FOR=NULL


相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961