python学习(三)--跟着例子写的贴吧网页爬取

2019-04-11 10:14:01来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

from urllib import request
import urllib

#爬贴吧网页文件到本地。首先在本地打开百度贴吧 搜索 java吧
#第一页的内容是:http://tieba.baidu.com/f?ie=utf-8&kw=java&fr=search&red_tag=f0746297280
#第二页 http://tieba.baidu.com/f?kw=java&ie=utf-8&pn=50
#第三页 http://tieba.baidu.com/f?kw=java&ie=utf-8&pn=100
#第四页 http://tieba.baidu.com/f?kw=java&ie=utf-8&pn=150
#看规律 只有第一页比较特殊 把第一页换成:http://tieba.baidu.com/f?kw=java&ie=utf-8&pn=0 也是可以的
#也就是地址栏实际上是 http://tieba.baidu.com/f?kw=java(如果是中文需要转码)&ie=utf-8&pn=0(格式为:(页数-1)*50)

def load_file(url, fname):
print("正在下载:"+fname)
# 水果手机的safari
header = {"user-agent":
"Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5"}
req = request.Request(url, headers=header)
  #这里是read方法 就读取到了原始网页  开始加了decode方法,结果报类型错误。decode方法把内容解析成了一个字符串

data = request.urlopen(req).read()
    return data






def spider(url, begin, end, fileName):
#rang函数 理解的类似于java的字符串切割的包左不包右原则,所以需要+1
for page in range(begin, end+1):
url = url +str((page-1)*50)
fname = fileName +str(page) +"页.html"
html = load_file(url, fname)
writePage(html, fname)


def writePage(html, fname):
print("正在保存:"+fname)
#存放位置
targetLoaction = "D:\浏览器下载目录\images" + "\\"+fname
print("保存文件为:"+targetLoaction)
with open(targetLoaction, "wb") as f:
f.write(html)

print(fname+"爬取成功")


if __name__ == "__main__":
name = input("请输入要爬取的贴吧名:")
begin = int(input("请输入起始页:"))
end = int(input("请输入尾页:"))

if int(begin) > int(end) :
print("起始页不可大于尾页")
quit()

#组装url
kw = urllib.parse.urlencode({"kw":name})
url = "http://tieba.baidu.com/f?kw="+kw+"&ie=utf-8&pn="
fileName = "爬取"+name+"吧第"

spider(url, begin, end, fileName);





原文链接:https://www.cnblogs.com/fuguang/p/10607126.html
如有疑问请与原作者联系

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:Python-接口自动化(三)

下一篇:yolo_v3训练自己的模型(人脸及deep-sort)