您的位置:新闻资讯 >文章内容
如何搭建一个免费的IP代理池
来源:本站 作者:jinglingdaili 时间:2019-04-08 16:02:38

购买一套房子,分析目前房价的数据,抓链家的数据分析下房价,爬到一半遇到了验证码。正常得步骤是每天把链家在售的二手房数据都抓一遍,然后按照时间序列分析。链家线上在交易的二手房数据大概有30000余套,而一天只有86400秒,也就是最慢3s也要访问一个页面。测试按照这种频率,大概访问100个页面就会被封了,而且封锁的时间还不短,至少在12小时左右。如果想要每天快速的爬一些数据,必须得搞定验证码。


如何搭建一个免费的IP代理池


链家封锁是按照IP进行封禁的,简单的添加上cookies并没有什么效果。想要解决IP被封的问题,自然地想法是加上代理就好了。在公司里代码各种工具都很成熟,有现成的代理池可用,自己要爬些数据的时候发现原来什么都需要自己做。那就自己做个代理池吧。


付费的方法


直接购买ip代理,购买的代理ip的价格大概是每天几块到几十块不等,不同的ip代理商价格不同,一个月大概需要100多快。如果包月使用的话,看你怎么买,买什么样子的。


免费的方法


这些卖代理的网站往往都提供了一些免费代理在首页来吸引流量,少则几十,多则几百,初步测试了几个还算能用。既然直接买来代理也还需要验证,那还不如直接抓取他们网站上提供的免费代理了。验证后入库,用的时候直接选取一个用就好了。如果代理库里有1000个左右的可用IP,那还是能解决不少问题的。但是免费得稳定性稍微差了一点,用还是可以用得。


相关文章内容简介
在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信公众号

微信公众号

回到顶部