您的位置:新闻资讯 >文章内容
Python爬虫的基本抓取网页和cookie处理方法
来源:本站 作者:admin 时间:2019-04-30 16:46:00

爬虫在开发过程中也有很多复用的过程,这里先总结一下基本抓取网页和cookie处理方法,以后也能省些事情。


Python爬虫的基本抓取网页和cookie处理方法


一、基本抓取网页


1、get方法


import urllib2url  "http://www.baidu.com"respons=urllib2.urlopen(url)print response.read()


2、post方法


import urllibimport urllib2url="http://abcde.com"form={'name':'abc','password':'1234'}form_data=urllib.urlencode(form)request=urllib2.Request(url,form_data)response=urllib2.urlopen(request)print response.read()


二、cookie处理方法


cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),python提供了cookielib模块用于处理cookies,cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源.


代码片段:


import urllib2, cookielibcookie_support=urllib2.HTTPCookieProcessor(cookielib.CookieJar())opener=urllib2.build_opener(cookie_support)urllib2.install_opener(opener)content=urllib2.urlopen('http://XXXX').read()


关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对CookieJar实例进行垃圾回收后cookie也将丢失,所有过程都不需要单独去操作。


手动添加cookie


cookie="PHPSESSID=91rurfqm2329bopnosfu4fvmu7; kmsign=55d2c12c9b1e3; KMUID=b6Ejc1XSwPq9o756AxnBAg="request.add_header("Cookie", cookie)


相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961