Python爬虫基本原理
2018-11-26 08:00:13来源：博客园 阅读 ()
看崔庆才爬虫教程视频做的笔记。
1.什么是爬虫？
请求网站并提取数据的自动化程序。
2.爬虫的基本流程
- 发送请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。
- 获取响应内容：如果服务器能正常响应，会得到一个Response， Response的内容便是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。
- 解析内容：得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
- 保存数据：保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。
3.什么是Request和Response?
4.Request中包含什么？
5.Response中包含什么？
6.能抓怎样的数据？
7.怎样来解析？
8.怎样解决JavaScript渲染的问题？
9.可以怎样保存数据？
标签：
版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有
上一篇：python技巧 列表推导
下一篇：Python--面向对象初识
- python3基础之“术语表（2）” 2019-08-13
- python3 之 字符串编码小结（Unicode、utf-8、gbk、gb2312等 2019-08-13
- Python3安装impala 2019-08-13
- 小白如何入门 Python 爬虫？ 2019-08-13
- python_字符串方法 2019-08-13
IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash
