您的位置:新闻资讯 >文章内容
什么是代理ip池?爬虫代理IP池怎么设计
来源:本站 作者:admin 时间:2019-07-16 14:54:24

我们在爬取网站的时候经常会遇到突然访问不了的问题,原因之一是因为你的ip进了该站的黑名单,在某一段时间内不能访问该站的资源。那么该怎么解决这个问题?比较有效的方式是使用代理ip,而如果有一个自己的代理ip池,再也不用担心没有ip可用啦。


 什么是代理ip池?


之前热门也许从来没听说过代理池,但是现在网络发达,很多都设计了爬虫代理IP,下面简单介绍下是怎么设计的。

 

代理池由四部分组成:

 

ProxyGetter:

 

代理获取接口,不过目前只有5个代理源是免费的,使用一次就会抓取这个5个网站的最新代理放入DB,还可以添加一些其他代理获取接口;

 

DB:

 

现在暂时只支持SSDB存放代理IP,如果你没有用过SSDB,安装是很简单的,可以去精灵代理网站了解一下。

 

Schedule:

 

计划任务用户还是需要检测DB中的代理是否有用的,如果不可以再使用的话删除就可以。同时也会主动通过ProxyGetter去获取最新代理放入DB;

 

ProxyApi

 

代理池的外部接口,代理池功能还是比较简单,功能是给爬虫提供get/delete/refresh等接口,方便爬虫直接使用。

 

 


相关文章内容简介
在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信客服

微信客服

微信公众号

微信公众号

回到顶部