现在学习Python的小伙伴当中，绝大部分的小伙伴都是想学习爬虫，但是学习爬虫的前期准备需要做些什么呢？

1. 一颗坚持不懈的心。
2. Web前端 HTML的相关知识，看不懂网页怎么能行
3. Python的基础语法
4. 最后一点，也是最重要的一点，你得有个电脑

当前面的那些你都具备那么，这个时候你就需要学习爬虫相关的知识点的了

1. 基本的爬虫工作原理
2. 基本的http抓取工具：scarpy
3. 分布式爬虫
4. Rq和scrapy的结合
5. 网页解析
6. 等

但是爬虫相关的居家必备的工具你必须得掌握。

F12开发者工具

作用：

1. 查看源代码，快速定位元素
2. 分析xpath，建议使用火狐或者谷歌浏览器，可以在源码界面直接右键查看

抓包工具

推荐火狐浏览器下的插件,比谷歌火狐系自带的F12工具都要好，可以方便查看网站收包发包的信息

火狐插件

是一款非常不错的xpath测试工具，当然了也有一些小缺点

1、xpath checker生成的是绝对路径，遇到一些动态生成的图标（常见的有列表翻页按钮等），飘忽不定的绝对路径很有可能造成错误，所以这里建议在真正分析的时候，只是作为参考

记得把如下图xpath框里的"x:"去掉，目前已经和一些模块不兼容（比如scrapy），还是删去避免报错。

正则表达测试工具

在线正则表达式测试，可以用来练手，因为很多小伙伴都说，正则比较难懂。

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有