浅谈开源IP代理池整体重构!在介绍开源代理ip池整体重构前，首先我们说一下IPProxyPool相对于之前的版本提升了哪些地方呢?以下几个方面

　　使用多进程加协程的方法，将爬取和验证的效率提升50倍以上，可以获取所有有效的IP，并且花费不了多长时间

　　使用web.py作为api服务器，重构http接口

　　增加Mysql,MongoDB等数据库的适配 支持python3 增加了三个代理网站 增加评分机制，评比稳定的ip

　　接下来说明一下使用方法：

　　项目依赖

　　Ubuntu,debian

　　1.安装sqlite数据库(一般系统内置): apt-get install sqlite3 2.安装requests,chardet,web.py,gevent: pip install requests chardet web.py sqlalchemy gevent 3.安装lxml: apt-get install python-lxml 注意：

　　python3下的是pip3

　　使用的gevent版本过低会偶尔会出现自动退出情况，请使用pip install gevent --upgrade更新) 在python3中安装web.py，不能使用pip，直接下载py3版本的源码进行安装 Windows 1.下载sqlite,路径添加到环境变量 2.安装requests,chardet,web.py,gevent: pip install requests chardet web.py sqlalchemy gevent 3.安装lxml: pip install lxml或者下载lxml windows版 注意：

　　python3下的是pip3 有时候使用的gevent版本过低会出现自动退出情况，请使用pip install gevent --upgrade更新) 在python3中安装web.py，不能使用pip，直接下载py3版本的源码进行安装 扩展说明 本项目默认数据库是sqlite，但是采用sqlalchemy的ORM模型，通过预留接口可以拓展使用MySQL，MongoDB等数据库。 配置方法： 1.MySQL配置

　　第一步：首先安装MySQL数据库并启动

　　第二步：安装MySQLdb或者pymysql(推荐)

　　第三步：在config.py文件中配置DB_CONFIG。如果安装的是MySQLdb模块，配置如下：

　　DB_CONFIG={

　　'DB_CONNECT_TYPE':'sqlalchemy',

　　'DB_CONNECT_STRING' : 'mysql+mysqldb://root:root@localhost/proxy?charset=utf8'

　　}

　　如果安装的是pymysql模块，配置如下：

　　DB_CONFIG={

　　'DB_CONNECT_TYPE':'sqlalchemy',

　　'DB_CONNECT_STRING' : 'mysql+pymysql://root:root@localhost/proxy?charset=utf8'

　　}

　　sqlalchemy下的DB_CONNECT_STRING参考支持数据库，理论上使用这种配置方式不只是适配MySQL，sqlalchemy支持的数据库都可以，但是仅仅测试过MySQL。

　　开源代理IP池——整体重构

　　2.MongoDB配置

　　第一步：首先安装MongoDB数据库并启动

　　第二步：安装pymongo模块

　　第三步：在config.py文件中配置DB_CONFIG。配置类似如下：

　　DB_CONFIG={

　　'DB_CONNECT_TYPE':'pymongo',

　　'DB_CONNECT_STRING' : 'mongodb://localhost:27017/'

　　}

　　由于sqlalchemy并不支持MongoDB,因此额外添加了pymongo模式，DB_CONNECT_STRING参考pymongo的连接字符串。

　　注意: 如果大家想拓展其他数据库，可以直接继承db下ISqlHelper类，实现其中的方法，具体实现参考我的代码，然后在DataStore中导入类即可。

　　try:

　　if DB_CONFIG['DB_CONNECT_TYPE'] == 'pymongo':

　　from db.MongoHelper import MongoHelper as SqlHelper

　　else:

　　from db.SqlHelper import SqlHelper as SqlHelper

　　sqlhelper = SqlHelper()

　　sqlhelper.init_db()

　　except Exception,e:

　　raise Con_DB_Fail

　　有兴趣你们可以试试可以将Redis的实现方式添加进来。

　　如何使用 将项目目录clone到当前文件夹

　　切换工程目录

　　$ cd IPProxyPool

　　$ cd IPProxyPool_py2 或者 cd IPProxyPool_py3

　　运行脚本

　　成功运行后，打印信息

　　IPProxyPool----->>>>>>>>beginning

　　http://0.0.0.0:8000/

　　IPProxyPool----->>>>>>>>db exists ip:0

　　IPProxyPool----->>>>>>>>now ip num < MINNUM,start crawling...

　　IPProxyPool----->>>>>>>>Success ip num :134,Fail ip num:7882

　　API 使用方法 第一种模式 这种模式用于查询代理ip数据，同时加入评分机制，返回数据的顺序是按照评分由高到低，速度由快到慢制定的。

　　参数

　　例子 IPProxys默认端口为8000，端口可以在config.py中配置。如果是在本机上测试： 1.获取5个ip地址在中国的高匿代理：http://127.0.0.1:8000/?types=0&count=5&country=中国 2.响应为JSON格式，按照评分由高到低，响应速度由高到低的顺序，返回数据：

　　[["122.226.189.55", 138, 10], ["183.61.236.54", 3128, 10], ["61.132.241.109", 808, 10], ["183.61.236.53", 3128, 10], ["122.227.246.102", 808, 10]]

　　以["122.226.189.55", 138, 10]为例，第一个元素是ip,第二个元素是port，第三个元素是分值score。

　　import requests

　　import json

　　r = requests.get('http://127.0.0.1:8000/?types=0&count=5&country=中国')

　　ip_ports = json.loads(r.text)

　　print ip_ports

　　ip = ip_ports[0][0]

　　port = ip_ports[0][1]

　　proxies={

　　'http':'http://%s:%s'%(ip,port),

　　'https':'http://%s:%s'%(ip,port)

　　}

　　r = requests.get('http://ip.chinaz.com/',proxies=proxies)

　　r.encoding='utf-8'

　　print r.text

　　第二种模式

　　这种模式有利于用户根据自己的需求删除代理ip数据

　　参数

　　大家可以根据指定以上一种或几种方式删除数据。

　　例子 如果是在本机上测试： 1.删除ip为120.92.3.127的代理：http://127.0.0.1:8000/delete?ip=120.92.3.127 2.响应为JSON格式，返回删除的结果为成功,失败或者返回删除的个数,类似如下的效果：

　　["deleteNum", "ok"]或者["deleteNum", 1]

　　import requests

　　r = requests.get('http://127.0.0.1:8000/delete?ip=120.92.3.127')

　　print r.text

　　以上就是重构后的IPProxyPool.推荐阅读：HTTP代理对投票活动有什么帮助?

　　精灵IP代理混播代理智能链路优质IP线路，最优化资源使用、最大化吞吐率、最小化响应时间，保护用户的隐私信息，实现100%高匿。