网页下载器-urllib2快速上手

urllib2 下载器网页

方法1:最简洁方法

urllib2.urlopen(url)
代码:

import urllib2

#直接请求
response = urllib2.urlopen('http://www.httproot.com')

#获取状态码,如果是200 表示获取成功
print response.getcode()

#读取内容
cont=response.read()

方法2:

添加data,http header
代码:

import urllib2

#创建request对象
request = urllib2.Request(url)

#添加数据
request.add_data('aa','111')
#添加http的header
request.add_header('User-Agent','Mozilla/5.0')

#发送请求获取结果
response = urllib2.urlopen(request)

方法3

HTTPCookieProcessor(登录
ProxyHandler(代理)
HttpsHandler
HttpRedirectHandler(相互自动跳转关系)

到opener=urllib2.build_opener(handler)
urllib2.install_opener(opener)

urllib2.urlopen(url)
或者
urllib2.urlopen(request)

代码

import urllib2,coolkielib

#创建cookie容器
cj=cookiellib.CookieJar()

#创建一个opener
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

给urllib2安装opener
urllib2.install_opener(opener)

#使用带有cookie的urllib2访问网页
response = urllib2.urlopen('http://www.httproot.com')