您的位置:新闻资讯 >文章内容
浅谈开源IP代理池整体重构
来源:精灵代理 作者:admin 时间:2019-11-12 14:50:07

  浅谈开源IP代理池整体重构!在介绍开源代理ip池整体重构前,首先我们说一下IPProxyPool相对于之前的版本提升了哪些地方呢?以下几个方面

  使用多进程加协程的方法,将爬取和验证的效率提升50倍以上,可以获取所有有效的IP,并且花费不了多长时间

  使用web.py作为api服务器,重构http接口

  增加Mysql,MongoDB等数据库的适配 支持python3 增加了三个代理网站 增加评分机制,评比稳定的ip

浅谈开源IP代理池整体重构

  接下来说明一下使用方法:

  项目依赖

  Ubuntu,debian

  1.安装sqlite数据库(一般系统内置): apt-get install sqlite3 2.安装requests,chardet,web.py,gevent: pip install requests chardet web.py sqlalchemy gevent 3.安装lxml: apt-get install python-lxml 注意:

  python3下的是pip3

  使用的gevent版本过低会偶尔会出现自动退出情况,请使用pip install gevent --upgrade更新) 在python3中安装web.py,不能使用pip,直接下载py3版本的源码进行安装 Windows 1.下载sqlite,路径添加到环境变量 2.安装requests,chardet,web.py,gevent: pip install requests chardet web.py sqlalchemy gevent 3.安装lxml: pip install lxml或者下载lxml windows版 注意:

  python3下的是pip3 有时候使用的gevent版本过低会出现自动退出情况,请使用pip install gevent --upgrade更新) 在python3中安装web.py,不能使用pip,直接下载py3版本的源码进行安装 扩展说明 本项目默认数据库是sqlite,但是采用sqlalchemy的ORM模型,通过预留接口可以拓展使用MySQL,MongoDB等数据库。 配置方法: 1.MySQL配置

  第一步:首先安装MySQL数据库并启动

  第二步:安装MySQLdb或者pymysql(推荐)

  第三步:在config.py文件中配置DB_CONFIG。如果安装的是MySQLdb模块,配置如下:

  DB_CONFIG={

  'DB_CONNECT_TYPE':'sqlalchemy',

  'DB_CONNECT_STRING' : 'mysql+mysqldb://root:root@localhost/proxy?charset=utf8'

  }

  如果安装的是pymysql模块,配置如下:

  DB_CONFIG={

  'DB_CONNECT_TYPE':'sqlalchemy',

  'DB_CONNECT_STRING' : 'mysql+pymysql://root:root@localhost/proxy?charset=utf8'

  }

  sqlalchemy下的DB_CONNECT_STRING参考支持数据库,理论上使用这种配置方式不只是适配MySQL,sqlalchemy支持的数据库都可以,但是仅仅测试过MySQL。

  开源代理IP池——整体重构

  2.MongoDB配置

  第一步:首先安装MongoDB数据库并启动

  第二步:安装pymongo模块

  第三步:在config.py文件中配置DB_CONFIG。配置类似如下:

  DB_CONFIG={

  'DB_CONNECT_TYPE':'pymongo',

  'DB_CONNECT_STRING' : 'mongodb://localhost:27017/'

  }

  由于sqlalchemy并不支持MongoDB,因此额外添加了pymongo模式,DB_CONNECT_STRING参考pymongo的连接字符串。

  注意: 如果大家想拓展其他数据库,可以直接继承db下ISqlHelper类,实现其中的方法,具体实现参考我的代码,然后在DataStore中导入类即可。

  try:

  if DB_CONFIG['DB_CONNECT_TYPE'] == 'pymongo':

  from db.MongoHelper import MongoHelper as SqlHelper

  else:

  from db.SqlHelper import SqlHelper as SqlHelper

  sqlhelper = SqlHelper()

  sqlhelper.init_db()

  except Exception,e:

  raise Con_DB_Fail

  有兴趣你们可以试试可以将Redis的实现方式添加进来。

  如何使用 将项目目录clone到当前文件夹

  切换工程目录

  $ cd IPProxyPool

  $ cd IPProxyPool_py2 或者 cd IPProxyPool_py3

  运行脚本

  成功运行后,打印信息

  IPProxyPool----->>>>>>>>beginning

  http://0.0.0.0:8000/

  IPProxyPool----->>>>>>>>db exists ip:0

  IPProxyPool----->>>>>>>>now ip num < MINNUM,start crawling...

  IPProxyPool----->>>>>>>>Success ip num :134,Fail ip num:7882

  API 使用方法 第一种模式 这种模式用于查询代理ip数据,同时加入评分机制,返回数据的顺序是按照评分由高到低,速度由快到慢制定的。

  参数

  

浅谈开源IP代理池整体重构


  例子 IPProxys默认端口为8000,端口可以在config.py中配置。如果是在本机上测试: 1.获取5个ip地址在中国的高匿代理:http://127.0.0.1:8000/?types=0&count=5&country=中国 2.响应为JSON格式,按照评分由高到低,响应速度由高到低的顺序,返回数据:

  [["122.226.189.55", 138, 10], ["183.61.236.54", 3128, 10], ["61.132.241.109", 808, 10], ["183.61.236.53", 3128, 10], ["122.227.246.102", 808, 10]]

  以["122.226.189.55", 138, 10]为例,第一个元素是ip,第二个元素是port,第三个元素是分值score。

  import requests

  import json

  r = requests.get('http://127.0.0.1:8000/?types=0&count=5&country=中国')

  ip_ports = json.loads(r.text)

  print ip_ports

  ip = ip_ports[0][0]

  port = ip_ports[0][1]

  proxies={

  'http':'http://%s:%s'%(ip,port),

  'https':'http://%s:%s'%(ip,port)

  }

  r = requests.get('http://ip.chinaz.com/',proxies=proxies)

  r.encoding='utf-8'

  print r.text

  第二种模式

  这种模式有利于用户根据自己的需求删除代理ip数据

  参数

  

浅谈开源IP代理池整体重构


  大家可以根据指定以上一种或几种方式删除数据。

  例子 如果是在本机上测试: 1.删除ip为120.92.3.127的代理:http://127.0.0.1:8000/delete?ip=120.92.3.127 2.响应为JSON格式,返回删除的结果为成功,失败或者返回删除的个数,类似如下的效果:

  ["deleteNum", "ok"]或者["deleteNum", 1]

  import requests

  r = requests.get('http://127.0.0.1:8000/delete?ip=120.92.3.127')

  print r.text

  以上就是重构后的IPProxyPool.推荐阅读:HTTP代理对投票活动有什么帮助?

  精灵IP代理混播代理智能链路优质IP线路,最优化资源使用、最大化吞吐率、最小化响应时间,保护用户的隐私信息,实现100%高匿。

相关文章内容简介
在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信公众号

微信公众号

回到顶部