您的位置:新闻资讯 >文章内容
浅谈爬虫与反爬虫的一些技术
来源:本站 作者:jinglingdaili 时间:2019-03-01 17:23:14

现如今因为搜索引擎的流行,网络爬虫已经成了很普及网络技术了,除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都会有做自己的搜索引擎,有叫得出来名字得就几十种,就更不用说还有各种不知名的小小的爬虫了。对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。

网络爬虫

一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性的打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强,造成的网站访问压力会非常大,会导致网站访问速度缓慢,甚至有可能无法访问。


现在的网站一般会从三个方面来反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式.前两种是比较容易遇到的,所以大多数网站都从这些角度来反爬虫。第三种会有一些应用ajax的网站会采用,这样就增大了爬取的难度,减少了初级爬虫的爬取麻烦,同时也不会阻止到一些搜索引擎的爬取。


通过Headers反爬虫:从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。


相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961