您的位置:新闻资讯 >文章内容
使用爬虫代理IP的一些认知误区
来源:本站 作者:admin 时间:2019-04-24 15:32:24

很多朋友陷入了一个这样的误区,他们认为,使用了代理IP就能愉快的爬取网站了,然而,当他们遇到了困难时,他们的第一反应就是:代理IP质量有问题,不可否认,这是很有可能的原因,但不仅限于此,还有一些其他原因也是需要考虑的,下面就此列举了一些常见的限制方式。

使用爬虫代理IP的一些认知误区


Basic Auth

一般会有用户授权的限制,会在headers的Autheration字段里要求加入;


Referer

通常是在访问链接时,必须要带上Referer字段,服务器会进行验证,例如抓取京东的评论;


User-Agent

会要求真是的设备,如果不加会用编程语言包里自有User-Agent,可以被辨别出来;


Cookie

一般在用户登录或者某些操作后,服务端会在返回包中包含Cookie信息要求浏览器设置Cookie,没有Cookie会很容易被辨别出来是伪造请求;

也有本地通过JS,根据服务端返回的某个信息进行处理生成的加密信息,设置在Cookie里面;


Gzip

请求headers里面带了gzip,返回有时候会是gzip压缩,需要解压;


JavaScript加密操作

一般都是在请求的数据包内容里面会包含一些被javascript进行加密限制的信息,例如新浪微博会进行SHA1和RSA加密,之前是两次SHA1加密,然后发送的密码和用户名都会被加密;


其他字段

因为http的headers可以自定义地段,所以第三方可能会加入了一些自定义的字段名称或者字段值,这也是需要注意的。


真实的请求过程中,其实不止上面某一种限制,可能是几种限制组合在一次,比如如果是类似RSA加密的话,可能先请求服务器得到Cookie,然后再带着Cookie去请求服务器拿到公钥,然后再用js进行加密,再发送数据到服务器。所以弄清楚这其中的原理,并且耐心分析很重要。

相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961