您的位置:新闻资讯 >文章内容
脑洞大开的前端工程师是怎样反击爬虫的
来源:本站 作者:admin 时间:2019-05-06 11:44:34

说起反爬虫,你可能首先想到的是User-Agent+ Referer检测、账号及cookie验证、验证码、IP访问频率等等,这些对你来说那都不是事,你可以通过使用代理IP加上一些其他的手段进行完美的伪装,无限逼真似真人访问,然而,你以为这就高枕无忧了吗,且看脑洞大开的前端工程师的反爬手段吧。


前端工程师是怎样反击爬虫的


一、 FONT-FACE拼凑式


实例:猫眼电影


猫眼电影里,对于票房数据,展示的并不是纯粹的数字。


页面使用了font-face定义了字符集,并通过unicode去映射展示。也就是说,除去图像识别,必须同时爬取字符集,才能识别出数字。


并且,每次刷新页面,字符集的url都是有变化的,无疑更大难度地增加了爬取成本。


二、BACKGROUND拼凑式


实例:美团


与font的策略类似,美团里用到的是background拼凑。数字其实是图片,根据不同的background偏移,显示出不同的字符。


并且不同页面,图片的字符排序也是有区别的。不过理论上只需生成0-9与小数点,为何有重复字符就不是很懂。


三、字符穿插式


实例:微信公众号文章


某些微信公众号的文章里,穿插了各种迷之字符,并且通过样式把这些字符隐藏掉。


这种方式虽然令人震惊…但其实没有太大的识别与过滤难度,甚至可以做得更好,不过也算是一种脑洞吧。


四、伪元素隐藏式


实例:汽车之家


汽车之家里,把关键的厂商信息,做到了伪元素的content里。


这也是一种思路:爬取网页,必须得解析css,需要拿到伪元素的content,这就提升了爬虫的难度。


五、元素定位覆盖式


实例:去哪儿


还有热爱数学的去哪儿,对于一个4位数字的机票价格,先用四个i标签渲染,再用两个b标签去绝对定位偏移量,覆盖故意展示错误的i标签,最后在视觉上形成正确的价格…


这说明爬虫会解析css还不行,还得会做数学题。


六、IFRAME异步加载式


实例:网易云音乐


网易云音乐页面一打开,html源码里几乎只有一个iframe,并且它的src是空白的:about:blank。接着js开始运行,把整个页面的框架异步塞到了iframe里面…


不过这个方式带来的难度并不大,只是在异步与iframe处理上绕了个弯(或者有其他原因,不完全是基于反爬虫考虑),无论你是用selenium还是phantom,都有API可以拿到iframe里面的content信息。


七、字符集替换式


实例:去哪儿移动侧


同样会欺骗爬虫的还有去哪儿的移动版。


html里明明写的3211,视觉上展示的却是1233。原来他们重新定义了字符集,3与1的顺序刚好调换得来的结果…


相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961