python批量爬取文档
2019-03-12 08:26:52来源:博客园 阅读 ()
最近项目需要将批量链接中的pdf文档爬下来处理,根据以下步骤完成了任务:
- 将批量下载链接copy到text中,每行1个链接;
- 再读txt文档构造url_list列表,利用readlines返回以行为单位的列表;
- 利用str的rstrip方法,删除 string 字符串末尾的指定字符(默认为空格);
- 调用getFile函数:
- 通过指定分隔符‘/’对字符串进行切片,取list的最后一列即链接文档名作为下载文件名。
- 调用urlopen,调用read、write方法完成下载
参考资料:
- https://blog.csdn.net/zhrq95/article/details/79300411
- https://blog.csdn.net/yllifesong/article/details/81044619
1 import urllib.request 2 import os 3 4 def getFile(url): 5 file_name = url.split('/')[-1] 6 u = urllib.request.urlopen(url) 7 f = open(file_name, 'wb') 8 block_sz = 8192 9 while True: 10 buffer = u.read(block_sz) 11 if not buffer: 12 break 13 f.write(buffer) 14 f.close() 15 print("Sucessful to download" + " " + file_name) 16 17 os.chdir(os.path.join(os.getcwd(), 'pdf_download')) 18 19 f=open('E:/VGID_Text/url_list.txt') 20 url_list=f.readlines() 21 url_lst=[] 22 for line in url_list: 23 line=line.rstrip("\n") 24 getFile(line)
原文链接:https://www.cnblogs.com/wind-chaser/p/10514449.html
如有疑问请与原作者联系
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
下一篇:如何理解“面向对象”编程思想
- python3基础之“术语表(2)” 2019-08-13
- python3 之 字符串编码小结(Unicode、utf-8、gbk、gb2312等 2019-08-13
- Python3安装impala 2019-08-13
- 小白如何入门 Python 爬虫? 2019-08-13
- python_字符串方法 2019-08-13
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash