首页 > > 网络编程 > 其它 >

python爬虫遇到状态码304,705

2018-06-18 01:49:49来源：未知 阅读 ()

新老客户大回馈,云服务器低至5折

304状态码是什么?

 　　如果客户端发送了一个带条件的GET 请求且该请求已被允许，而文档的内容（自上次访问以来或者根据请求的条件）并没有改变，则服务器应当返回这个304状态码。简单的表达就是：客户端已经执行了GET，但文件未变化。

 

什么情况下会返回304状态码?

　　客户端是怎么知道这些内容没有更新的呢？其实这并不是客户端的事情，而是你服务器的事情，大家都知道服务器可以设置缓存机制，这个功能是为了提高网站的访问速度，当你发出一个GET请求的时候服务器会从缓存中调用你要访问的内容，这个时候服务器就可以判断这个页面是不是更新过了，如果未更新过那么他会给你返回一个304状态码。
 
　　例如：一些搜索引擎是如何知道我们的网站是否有更新。判断网页是否发生变化最直接的方法是设置页面的某一处为监控区域，每次都抓取该部分区域的内容，然后与本地保存的或最 近一次抓取内容比较，如果有差异就表明网页发生了变化，才可以进行解析。这种方法比较稳妥，几乎可达到万无一失的效果。但是，这种方式在每次扫描时都要下载页面内容，并且要去截取监控区域的内容，最后还要进行字符串比较，整个过程比较耗时。其实在众多网页中，有一部分网站的网页内容是静态页面，如图片，html，js等，这些静态页面往往可能是服务器早已准备好的，用户访问时仅仅是下载而已。那么针对这种静态页面，就可以仅仅通过304状态码来判断，内容是否发生了变化。
 

如何解决?

　　如果客户端发送了一个带条件的 GET 请求且该请求已被允许，而文档的内容（自上次访问以来或者根据请求的条件）并没有改变，则服务器应当返回这个状态码。304响应禁止包含消息体，因此始终以消息头后的第一个空行结尾。 　　
　　该响应必须包含以下的头信息： 　　
　　Date，除非这个服务器没有时钟。假如没有时钟的服务器也遵守这些规则，那么代理服务器以及客户端可以自行将 Date 字段添加到接收到的响应头中去（正如RFC 2068中规定的一样），缓存机制将会正常工作。 　　
　　ETag 和/或 Content-Location，假如同样的请求本应返回200响应。 　　
　　Expires, Cache-Control，和/或Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。 　　
 
　　假如本响应请求使用了强缓存验证，那么本次响应不应该包含其他实体头；否则（例如，某个带条件的 GET 请求使用了弱缓存验证），本次响应禁止包含其他实体头；这避免了缓存了的实体内容和更新了的实体头信息之间的不一致。 　　
　　假如某个304响应指明了当前某个实体没有缓存，那么缓存系统必须忽视这个响应，并且重复发送不包含限制条件的请求。 　　
　　假如接收到一个要求更新某个缓存条目的304响应，那么缓存系统必须更新整个条目以反映所有在响应中被更新的字段的值
 
 
　　在进行条件请求时,客户端会提供给服务器一个If-Modified-Since请求头,其值为服务器上次返回的Last-Modified响应头中的Date日期值,还会提供一个If-None-Match请求头,值为服务器上次返回的ETag响应头的值。
 
 
　　
　　当网站的状态码是304的时候 ，爬虫或返回705的状态信息。说明WAP网关与远端服务器建立连接失败。
 
　　参考状态码信息：
　　http://tool.oschina.net/commons?type=5
　　https://wenku.baidu.com/view/4e06018483d049649b66581c.html　　

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：python 使用else代替状态变量

下一篇：爬虫===下载图片的方法

相关文章

IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设

网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源

网站联盟： 联盟新闻 联盟介绍 联盟点评 网赚技巧

行业资讯： 搜索引擎 网络游戏 电子商务 广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护

软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识： 网络协议 网络安全 网络管理 组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条
最新资讯
热门关注
热门标签