作者：叶耀荣
源自：https://zhuanlan.zhihu.com/p/42728565

不知道有没有小哥哥、小姐姐喜欢cosplay的，今天小编就分享一个关于爬取cosplay图片，emmmm，先来几张图活跃一下气氛！

咳咳咳.....接下来咱们就进入正题！

首先，进入半次元，点击COS，热门推荐

点击F12，可以看到开发者工具窗口

我们以第一张COS照片的代码进行分析....额...第二张好看，还是从第二张开始吧。

红框里面就是这张图片的html代码，然后我们以正常访问方式点击图片进入网页,可以看到这张图片分辨率更高。

我们与之前HTML代码的图片的URL进行比较

可以看见，2X3是我们第一次进网页时第一张COS照片得到的URL，w650是进入COS照片详细页面后得到的URL，发现他们的区别是URL代码中的最后一段。

其他COS照片以此类推

我们在第一次进入的页面继续往下滑，发现该网页滚到结尾时自动更新，可以确定网页使用了AJAX技术，我们回到置顶刷新界面，等网页加载好后按F12打开开发者工具，操作如图

点击XHR

我们继续往下划，等到页面更新时发现新条码 点击条目

在Headers页面往下滑，看见X-Reauested-With:XMLHttpRequest，表明是AJAX请求，找到Query String Parameters，这就是AJAX请求的数据，在Preview中可以看见AJAX返回的数据。

继续往下划，让网页数据更新，发现Network中又新出现的几个新条目

我们比较Query String Parameters的AJAX请求数据，发现

1. grid_type:
2. flow
3. sort:
4. hot

3.tag_id:

399

这三条数据和其他Network条目是相同的，但是since不相同，和其他条目对比http://25853.xxx其中xxx这三个数字是不规律的，其中since中25853小数点后的数据为565、523、483、428（以实际情况为准，仅供参考），意味着我们在接下来图片爬取中since数据要手动输入

实现代码

如果你需要一个良好的学习交流环境，那么你可以考虑Python学习交流群：548377875；
如果你需要一份系统的学习资料，那么你可以考虑Python学习交流群：548377875。

效果

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有