谷歌在GET中适当加入POST请求抓取网页内容

近日，谷歌黑板报上发布了一篇名为《GET，POST以及安全获取更多网络信息》的博文。文章对谷歌近期对抓取网页内容方式的改善进行了详细介绍。文章中提到，谷歌将在今后读取网页内容的时候不单单只采用GET抓取，而是时情况而定适当的加入POST请求方式抓取网页内容，进一步提高谷歌搜索引擎对网页内容的判断。

随着互联网的高速发展，JavaScript和AJAX日渐普，越来越多的网页需要POST请求——因为网页的全部内容或因为有些网页信息缺失以及/或者POST无法返回资源而使网页无法显示。而谷歌方面认为单一的采用GET来抓取网页所需资源将无法呈现最全面、准确的结果。

因此，谷歌改善了flash索引，在GET抓取之中引入POST请求，以此对网页内容作出更完整、准确的抓取及索引。

谷歌抓取网页内容步骤如下：

1.通过GET抓取网页内容。

2.索引网页内容，并尝试渲染页面。

3.在渲染过程中使用POST请求读取页面内容，产生一个新的POST内容页面。

4.将POST请求所得内容网页与其他数据负载添加到Googlebot的抓取队列。

5.Googlebot执行一个POST请求抓取网页。

6.谷歌将最终POST结果呈现，也有可能将GET与POST请求结果融合。

7.完成索引。

搜索引擎新闻内容来源于网络，由笔者组织文字并排版，并不完全代表本博客实际观点，仅供读者参考交流。

若有涉及作者版权等问题请及时与笔者取得联系，以便更正、删除或按规定办理。

本文链接地址：http://www.yushenblog.com/news/450.html

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有