您的位置:新闻资讯 >文章内容
使用代理ip来规避的做法用nodejs具体要怎么做?
来源:本站 作者:admin 时间:2019-07-26 15:36:00

目前初学爬虫,尽管简单的数据能抓下来,但是看了很多文章,里面有提到一些反爬虫的机制的,这里面都提到了用ip来反爬虫,第二篇文章也提到了用代理池来避免,但是还是不大明白,这些代理ip如果用nodejs要怎么弄?


 代理ip


根据个人经验,简单的反爬虫技术有:


1. 判断headers 中的参数,比如user-agent 不是浏览器的不允许访问;refer 不是来源于特定域名的也不行(反盗链常用技术)。这是最常见的反爬虫技术。

 

2. cookies 检查用户cookies,需要登录的网站常采用这种技术。比如论坛、微博、雪球等。

 

以上两个可以通过手动设计headers 和cookies 搞定,python 程序员使用requests 可以很方便解决。

 

还有一些比较复杂的技术:


1. 数据通过ajax 返回后通过js 混淆处理,而js 处理过程可以写的很复杂,以至于爬虫程序员没法分析。


2. 数据通过flash 和服务器端交互。


3. 通过ip 或者特定账号单位时间内请求数量来限制访问,基本无解,比如你爬爬 google scholar 试试看。

相关文章内容简介
在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信公众号

微信公众号

回到顶部