Web是一个开放的平台，这也奠定了Web从90年代诞生至今将近30年的蓬勃发展。开放的Web同时也吸引了众多程序抓取，这些程序通称网络爬虫。互联网中几乎所有服务端、客户端编程语言都支持HTTP请求，而最简单的爬虫只需向目标页面的url发起一个http get请求，即可获得到浏览器加载这个页面时的完整html文档，这被我们称之为“同步页”。

而作为反爬虫的一方，一般通过代理IP限制来阻止你抓取信息，表现为你的本地IP出现暂时无法访问该网址的情况。这时候最简单的解决办法是利用HTTP代理IP换IP，无论你的IP被封或者用于防止IP被封都非常好用。市面上比较有名的IP资源供应商有精灵代理，精灵代理的IP来自精灵代理联盟中数万条拨号宽带汇聚而成，地区覆盖超过90%，为优质散段IP，精灵代理IP从质量、数量、分布地区广方面来看，都是十分适合Python爬虫使用。