什么叫分布式爬虫？分布式爬虫是在计算机集群之上运转的爬虫系统。集群每一个节点上运行的爬虫程序与集中式爬虫系统工作原理相同，随着计算机集群使用数量增加，分布式爬虫优势也逐渐体现，对比单机爬虫，工作效率翻倍增长。

分布式爬虫在高速完成spider任务时，也会因过量过频的访问次数，更容易触发网站反爬机制，这时候单一IP地址早已无法满足分布式爬虫的抓取需要，使用大量HTTP代理成为必然趋势。精灵代理拥有海量优质HTTP代理资源，特有分布式系统架构，从容应对分布式爬虫爆发增长，成为分布式爬虫的刚需资源，通过接入精灵代理平台直接多线程操作，省去了多余的人力和时间。