浅谈爬虫采集代理ip的原理及代理ip的选择!经常遇到一些代理ip，使用简单但是代理ip的数量和质量却难以达标，尤其是大批量使用，非常不适合，市面上的收费代理IP质量也是良莠不齐。经多方测试，这里推荐使用精灵代理ip。精灵代理ip是一家提供优质代理IP池租用服务的品牌，IP覆盖全国地区，独有海南和宁夏等支持指定城市，指定省份，全国混拨ip代理，代理ip软件可用海量的ip地址，据悉自上线以来已成功为众多企业级用户提供了可行的解决方案，值得信赖。

　　安全过滤

　　为了安全，不允许用户直接接触真实服务器，任何访问请求都要先到达 代理服务器 ，代理服务器来进行验证、过滤等安全类操作，符合条件的请求才会被转发到真实服务器，只有在IP白名单中的 http代理 ip才能访问。

　　内容缓存

　　当访问量越来越大时，网站服务器对每个请求都需要进行处理，压力巨大，根据局部访问性原理，这么多请求中必然有很多是重复的，网站服务器做这些重复劳动。

　　代理IP把一些常用的内容都缓存到自己身上，用户的请求先来到代理服务器，他看自己这有没有用户需要的内容，有就直接返回给用户，没有时才交给网站服务器来处理。这样就相当于网站服务器有了助理，帮他处理了很多重复性工作，减轻了压力。

　　负载均衡

　　当访问量越来越大时，一个网站服务器扛不住了，需要在添加N个服务代理IP，那么当用户请求过来后，这时就需要在这N台服务器前面添加一个代理服务器，做为负载均衡器。

　　用户请求先发到负载均衡器，他思考一下这个请求应该交给谁，想好后就转发过去，这样就让N台服务器均衡的处理请求了。

　　1、SOCKS5搭建要求

　　1)VSP服务器和客户端必须都能上网

　　2)路由器做端口映射(没有路由器就跳过此步)

　　3)关闭防火墙

　　4)关闭杀毒软件

　　5)关闭杀毒卫士

　　2、服务器

　　1)在VSP服务器上安装CCProxy软件

　　2)在CCProxy主界面上，单击设置->高级->网络，在弹出的高级对话框中取消选中“禁止局域网外部用户”，再一直单击“确定”按钮

　　3)CCProxy其它设置都默认

　　3、SOCKS5搭建准备工作

　　1)一台VSP服务器(或者朋友的电脑)，假如公网I国内 IP代理 P地址为：202.6.6.6

　　2)一台客户端

　　3)一套CCProxy软件

　　为什么需要http代理ip

　　有些公司需要限制某些网站不能被员工访问，那么就可以在http代理ip上添加策略：当检测到有员工访问该网站时直接提示;

　　公司出于安全的考ip代理软件虑，避免员工访问的网站带入病毒，因为所有请求和响应都会经过http代理ip，所以就可以在代理上做病毒检测;

　　假设员工A和员工B都想访问 http://www.qq.com/test.html ，那代理服务器可以缓存test.html，这样员工A和B的两个请求可以缩减为一个，降低了网络带宽的开销;

　　总而言之，代理服务器是一个口子，有了这个口子，我们就可以在这个口子上做任何事情。

　　代理服务器与缓存服务器

　　在现实的架构中，代理服务器与缓存服务器的角色越来越模糊，或者说通常把两者合二为一，一个位于客户端和服务端中间位置的服务器既有代理的功能又有缓存的功能，比如我们熟悉的CDN。

　　反向代理服务器

　　在代理服务器的基础上，又逐渐衍生出代理反向代理服务器：

　　最原始的代理服务器的代理是指充当客户端的“代理”，那如上图所示的代理则是Web服务器的代理，因此我们给其取名为反向代理服务器。(反向的含义是以前代理客户端，现在代理服务端)推荐阅读：换IP工具使用中常见问题

　　反向代理服务器对外屏蔽了真实的服务器，并且作为服务端的出入口，我们可以在反向代理服务器上添加策略：比如Web攻击防护策略、CC攻击防护策略等。