scrapy爬虫踩的坑
2018-06-18 02:10:17来源：未知 阅读 ()
1.scrapy创建爬虫，cd进入爬虫的项目文件夹，输入：scrapy genspider zhihu03 www.zhihu.com
打开pycharm发现新增一个zhihu03.py
2.爬取网页时，当我们爬取(table)中的内容时，用xpath解析不到表格中td的值
原因:浏览器会在table标签下添加tbody（注：在chrome、火狐测试都有这个情况。出现这种原因是因为浏览器会对html文本进行一定的规范化 ）
解决方法：解决方法：使用scrapy 时将分析出的xpath 中的 tbody 去掉即可。
参考自：https://blog.csdn.net/lishk314/article/details/44916827
3.scrapy模拟登录知乎时，输入验证码后出现“缺少验证码票据”，在settings.py将cookie设置为如下：
COOKIES_ENABLED = True
标签：
版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有
上一篇：python基础技巧综合训练题2
下一篇：python之函数
- 小白如何入门 Python 爬虫？ 2019-08-13
- python day2-爬虫实现github登录 2019-08-13
- 使用scrapy框架爬取全书网书籍信息。 2019-08-13
- python爬虫学习之爬取超清唯美壁纸 2019-08-13
- python爬虫学习之用Python抢火车票的简单小程序 2019-08-13
IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash
