想要学好爬虫,比如从它的原理开始学!今天教你…

2018-07-28 06:21:10来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

想要学好爬虫,比如从它的原理开始学!今天教你从零开始学爬虫!

 

二、爬虫的基本流程:

进群:125240963  都可以获取数十套PDF或者入门资料一套呢!

用户获取网络数据的方式:

方式1:浏览器提交请求--->下载网页代码--->解析成页面

方式2:模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

爬虫要做的就是方式2;

想要学好爬虫,比如从它的原理开始学!今天教你从零开始学爬虫!

 

想要学好爬虫,比如从它的原理开始学!今天教你从零开始学爬虫!

 

想要学好爬虫,比如从它的原理开始学!今天教你从零开始学爬虫!

 

四、 request

想要学好爬虫,比如从它的原理开始学!今天教你从零开始学爬虫!

 

1、请求方式:

常见的请求方式:GET / POST

2、请求的URL

url全球统一资源定位符,用来定义互联网上一个唯一的资源 例如:一张图片、一个文件、一段视频都可以用url唯一确定

url编码

https://www.baidu.com/s?wd=图片

图片会被编码(看示例代码)

网页的加载过程是:

加载一个网页,通常都是先加载document文档,

在解析document文档的时候,遇到链接,则针对超链接发起下载图片的请求

3、请求头

User-agent:请求头中如果没有user-agent客户端配置,服务端可能将你当做一个非法用户host;

cookies:cookie用来保存登录信息

注意: 一般做爬虫都会加上请求头

想要学好爬虫,比如从它的原理开始学!今天教你从零开始学爬虫!

 

请求头需要注意的参数:

(1)Referrer:访问源至哪里来(一些大型网站,会通过Referrer 做防盗链策略;所有爬虫也要注意模拟)

(2)User-Agent:访问的浏览器(要加上否则会被当成爬虫程序)

(3)cookie:请求头注意携带

4、请求体

请求体

如果是get方式,请求体没有内容 (get请求的请求体放在 url后面参数中,直接能看到)

如果是post方式,请求体是format data

ps:

1、登录窗口,文件上传等,信息都会被附加到请求体内

2、登录,输入错误的用户名密码,然后提交,就可以看到post,正确登录后页面通常会跳转,无法捕捉到post

想要学好爬虫,比如从它的原理开始学!今天教你从零开始学爬虫!

 

get到了吧?get到了就赶紧去玩爬虫吧!

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:Python无所不能!出了生不出孩子!毕竟是最火编程语言!没有之一

下一篇:Redis管道