您的位置:新闻资讯 >文章内容
http爬虫代理可以分为哪几种
来源:本站 作者:admin 时间:2019-07-04 16:48:13

许多Python爬虫爱好者在利用爬虫采集网站数据时,IP被封是很正常的,很多网站为了防止采集都会设定这个功能,这个时候就需要用到http代理IP。这时我们应该如何选择爬虫代理IP,才能保证数据采集的高效和稳定呢?这里精灵代理给大家介绍一下。


http爬虫代理可以分为哪几种


首先,我们根据http代理的匿名性可以分为以下几种:

 

一、透明代理(TransparentProxies)目标服务器会找到用户实际使用的IP。目标服务器根据HTTP请求头进行检测。

 

二、普通匿名代理(AnonymousProxies)目标服务器检测不到用户的IP,但是可以知道是否用了代理。

 

三、高匿名代理(HighAnonymityProxies-Eliteproxies)目标服务器检测不到用户使用的代理IP。

 

另外,不使用代理时发出的头:REMOTE_ADDR=真实源IPHTTP_VIA=值为空或无此头HTTP_X_FORWARDED_FOR=没数值或无此头不过,在检测严格的情况下,没有HTTP_VIA头和HTTP_X_FORWARDED_FOR头,但是有HTTP_PROXY_CONNECTION头,还是普通匿名代理。所以,在我们选择爬虫代理IP时,最好选择安全稳定的高匿代理IP,精灵代理为客户提供全天24小时安全稳定的http代理,并且使用前可以免费测试,保证您数据采集的高效稳定。


相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961