Python爬虫入门!破解pexels高清原图!零基础必…
2018-08-06 09:14:33来源:博客园 阅读 ()
最近貌似对好看的图着迷,Pixabay爬不到原图不甘心呀。
百度+知乎了下,于是转向pexels,同样一个高人气图片网站。
1、分析查看
首先点击进入官网,又见瀑布流,点击查看源码。私信小编007即可获取数十套PDF哦!
查看源代码和首页差不多,接着是图片真实地址链接。我在这里绕了几个弯,具体不叙述。
加上前面pixabay的坑,最后得到经验:直接点击官方下载按钮,从对话框中看到图片真实链接,这是最保险的模式。(因为有时“查看模式”并不能提供真实链接,而且有时也并不能下载得到。)
我第一次以为链接只有第二种,结果辛辛苦苦匹配正则下载的图确是这样的:
有些图并不能打开,又得到教训:爬虫爬下的图打不开时,可能链接地址是错的。
每个链接后面都多了个’?’,如何去掉字符串最后一位字符,我记得string类是没有像list类的pop()方法的,又考验Python基础。不过这个简单啦~
点击源码中href=”/search/water/?page=2”,页面跳转
地址栏里链接变成 https://www.pexels.com/search/water/?page=2
熟悉的感觉,这几个图好像刚刚那个页面也出现过。。。
回第一页源码中数了下,一共才发现15张缩略图的链接。
然后全明白了,回page1一数正好吻合。
原来获取图片接口在源码里啊,每一页15张,308就是最大页数了。
接着就简单了,又可以循环遍历,避开瀑布流啦^_^
试着下载图片,结果又出幺蛾子了:
二、结果
最后来看下结果
已经存在的图自动跳过。
强迫症患者,终于等到10页图全部下载完才睡。。。
本来准备随便拿个图看效果
结果太大了上传不了。。。。
(比如上图第一排最右边的那个图就有27M)
三、代码
这个爬虫还是可以的,就是速度太慢了了,等学了多线程再回来优化。
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- python3基础之“术语表(2)” 2019-08-13
- python3 之 字符串编码小结(Unicode、utf-8、gbk、gb2312等 2019-08-13
- Python3安装impala 2019-08-13
- 小白如何入门 Python 爬虫? 2019-08-13
- python_字符串方法 2019-08-13
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash