您的位置:新闻资讯 >文章内容
Python如何使用http/https代理
来源:本站 作者:admin 时间:2019-07-09 16:53:13

在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种:


 Python如何使用http/https代理


(1)如果是在代码中使用一些网络库或爬虫框架进行数据爬取,一般这种框架都会支持设置代理,例如:

 

import urllib.request as urlreq

# 设置https代理

ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'})

oper = urlreq.build_opener(ph)

# 将代理安装到全局环境,这样所有请求都会自动使用代理

urlreq.install_opener(oper)

res = oper.open("https://www.google.com")

print(res.read())

 

import requests as req

print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)

 

(2)如果使用的库没有提供设置代理的接口,但是底层使用了urllib、requests等库,可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量,常用的网络库会自动识别这些环境变量,使用变量设置的代理发起请求,设置如下:

 

import os

os.environ['http_proxy'] = 'http://127.0.0.1:1080'

os.environ['https_proxy'] = 'https://127.0.0.1:1080'

 

(3)如果上述两种方法都没有用,那么还可以使用一些可以监听、拦截和修改网络包的工具和库如(Fiddler、mitmproxy)来拦截http请求包并修改地址,达到使用代理的效果。


相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961