首页 > > 网络编程 > 其它 >

模拟浏览器——Headers属性

2018-06-18 02:04:17来源：未知阅读 ()

具体有哪些http请求头部信息可以在浏览器调试工具（一般按F12）中查看

方法一、使用build_opener()修改报头

 1 import urllib.request
 2 
 3 url = "https://www.cnblogs.com"
 4 # 根据需要在headers里添加更多信息
 5 headers = [
 6     ("accept-language", "zh-CN,zh;q=0.9"),
 7     ("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36")
 8 ]
 9 opener = urllib.request.build_opener()
10 opener.addheaders = headers  # 设置的头信息为列表格式，每个字段对应里面一个元组
11 data = opener.open(url).read()
12 # 若使用install_opener(opener)将opener安装为全局，以后调用urlopen()时都会使用安装的opener对象
13 # urllib.request.install_opener(opener)
14 # data = urllib.request.urlopen(url).read()
15 print(data)

方法二、使用add_header()添加报头

1 import urllib.request
2
3 url = "http://blog.csdn.net/column.html"
4 req = urllib.request.Request(url)
5 req.add_header("accept-language", "zh-CN,zh;q=0.9")
6 req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36")
7 data = urllib.request.urlopen(req).read()
8 print(data)