python爬虫利器,you-get,让天下没有难爬的网页
2019-05-22 06:32:30来源:博客园 阅读 ()
今天给大家介绍一款爬虫利器,小白也可以拿来即用的利器:you-get。
You-Get 是一个 Python 编写的命令行下载器,用于从 Web 下载媒体内容(视频,音频,图像)。这个程序在 GitHub 上已有 2 万多的 Star。
you-get 能做什么?
-
从热门网站下载视频/音频,例如 YouTube,bilibili,斗鱼等等。
-
在媒体播放器中或者浏览器中播放视频,没有广告。
-
通过抓取网页下载图片。
-
下载任意非 HTML 内容,即二进制文件。
you-get 安装:
首先确保你安装了 Python 环境,然后可以通过 pip 命令安装 you-get。
pip install you-get
you-get 升级
可以通过以下方式升级 you-get。
pip install --upgrade you-get
设置下载文件的路径和名称
使用 --output-dir/ -o 选项设置路径,和 --output-filename/ -O 设置下载文件的名称。
微博上有个纪念澳门回归的秒拍视频,我设置好保存路径和名称后会直接下载保存。
you-get -o E:\youget -O macao http://n.miaopai.com/media/N4vmrRKzpcV5k80IbXlO8BuGCNm
这样就会把视频保存在你刚定义的目录中,如果不添加路径参数的话视频会默认保存在你输入命令时的当前路径。
浏览器观看视频
如果您希望在浏览器中直接观看视频,而且是没有广告或评论部分,使用 -p 后面加上浏览器名称,比如我加的是 chrome,视频可以放大播放。
you-get -p chrome http://n.miaopai.com/media/N4vmrRKzpcV5k80IbXlO8BuGCNmwkFvf
学习python爬虫过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun:前面是934,中间109,后面是170,与你分享Python企业当下人才需求及怎么从零基础学习Python,和学习什么内容。相关学习视频资料、开发工具都有分享
下载图片
我要下载 pixabay 网站上一张单张图片,使用如下命令:
you-get https://pixabay.com/en/landscape-volcano-central-java-3779159/
用这个命令会下载 3 张不同大小的图片到你当前目录下,1 张略缩图,2 张高清大图,可以根据自己需求选择使用。
移动端
刚才说的都是 Web 网页,其实你还可以操作移动端、APP、H5,移动端的反爬措施一般比较少,感兴趣的自己去试试吧。
支持的网站
目前支持的网站有 100 种之多,包括我们经常用的网易视频、网易云音乐、b 站、百度贴吧、豆瓣、斗鱼、优酷、抖音等等,还包括国外的 YouTube、Instagram、Facebook 等网站
原文链接:https://www.cnblogs.com/duxingdalao/p/10892117.html
如有疑问请与原作者联系
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- python3基础之“术语表(2)” 2019-08-13
- python3 之 字符串编码小结(Unicode、utf-8、gbk、gb2312等 2019-08-13
- Python3安装impala 2019-08-13
- 小白如何入门 Python 爬虫? 2019-08-13
- python_字符串方法 2019-08-13
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash