做爬虫的自然希望能抓取的数据尽量多一些，尽量高效一些，然后好做分析，得到自己所需要的；而作为网站主自然希望自己的网站能够正常运行，自己的劳动成果不被他人窃取。于是，爬虫与反爬虫的战争就开始了！

一、IP活动异常

网站主可以通过网站日志看出一些异常访问，比如同一个IP地址发送了许多类似的请求，同一个IP访问的速度反人类，那么网站主就会作出反击。
1、访问速率限制
2、访问多次出现验证码
3、限制此IP访问10分钟
对抗反爬建议：购买代理IP池，降低单IP访问频率和次数。

二、注册和登陆

很多网站或者论坛都有限制，必须注册登录了才能访问某些版块，但是也会防止批量注册和登陆，比如注册需要Email验证或者手机验证，需要通过发送的邮件链接或者手机验证码来激活账户，并且具有唯一性；注册和登陆时还需要填写复杂的验证码等等。
对抗反爬建议：批量注册或者购买账户，模拟登陆，降低频率。

三、使用验证码

验证码可以有效地阻止爬虫，但也会对真实的用户产生不好的体验，比如访问了几个页面就弹出验证码，这是很不友好的。但验证码也是可以批量验证的，网上有很多低报酬的人工打码服务，这里就不多推荐了。

四、文本转图片

有些网站将文字转成了图片来显示，以此来阻止爬虫，这种方法可以阻碍简单的爬虫提取文本，但对于一些屏幕阅读器来说很不友好，比如在电脑上可以看清楚图片中的文字，但在移动手机端看就非常模糊了。
解决反爬建议：使用OCR图片识别技术

爬虫与反爬虫之间的战争从来没有消停过，是道高一尺还是魔高一丈，且看各自水平！