小白零基础也会的爬虫,就是有个反爬!手把手教…

2018-07-28 06:20:40来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

---恢复内容开始---

需要爬取的新闻网站为http://www.shxz.gov.cn/sites/CSMHXZMH/ViewList2_pg.ashx?ctgId=fe188544-e1fe-4230-b754-40e8d70ae432&leftBarId=08f6f7e1-badb-49fd-8da9-009f8dcc14a0

分析

思路很简单:

分析网站-->找出每一页的网址规律-->分析每一页包含的新闻链接-->循环批量下载

看起来是不是很简单呀,现在我开始分析每一页网址的页数规律

进群:125240963  即可获取数十套PDF哦!

小白零基础也会的爬虫,就是有个反爬!手把手教你破解反爬!

 

这是点击跳转的链接

跳转之后的网址为

http://www.shxz.gov.cn/sites/CSMHXZMH/ViewCon2_pg.ashx?ctgId=fe188544-e1fe-4230-b754-40e8d70ae432&infId=ce846a98-ed2c-4181-861d-3b6c000b9ba9&leftBarId=08f6f7e1-badb-49fd-8da9-009f8dcc14a0

只需要找出每个页面的12个ViewCon2_pg.ash········这段代码,然后在前面加上http://www.shxz.gov.cn/sites/CSMHXZMH/ 就是每个新闻的网址,所以我只需要筛选出每页的12个这段代码即可

观察源代码,选择正则表达式进行筛选

小白零基础也会的爬虫,就是有个反爬!手把手教你破解反爬!

 

小白零基础也会的爬虫,就是有个反爬!手把手教你破解反爬!

 

现在一切正常,然后我打开爬取到的文件发现没有内容,我检查代码是没问题的,然后我去检查其中的一个新闻页面源代码,发现数据是经过JavaScript处理的,还真是有反爬的呀。很无奈,再次分析吧

按F12,然后再按F5刷新页面,查看Network

小白零基础也会的爬虫,就是有个反爬!手把手教你破解反爬!

 

Content.ashx?infId=908d112a-2520-4c1b-a7f8-9032fed…32&leftBarId=08f6f7e1-badb-49fd-8da9-009f8dcc14a0

点击到这一行时,点击Preview发现就是我们需要的文章内容,然后右键这一行,Copy-->Copy link address,分析这个真实的网址,然后可以打开多几个不同页数的网址进行分析

JavaScript加载的网址

http://www.shxz.gov.cn/sites/Iframe_ZZTY_cxs/dyn/Content.ashx?infId=908d112a-2520-4c1b-a7f8-9032fedbfe5c&ctgId=fe188544-e1fe-4230-b754-40e8d70ae432&leftBarId=08f6f7e1-badb-49fd-8da9-009f8dcc14a0

原页面的网址

http://www.shxz.gov.cn/sites/CSMHXZMH/ViewCon2_pg.ashx?ctgId=fe188544-e1fe-4230-b754-40e8d70ae432&infId=908d112a-2520-4c1b-a7f8-9032fedbfe5c&leftBarId=08f6f7e1-badb-49fd-8da9-009f8dcc14a0

这是第一次处理之后的有效代码

ViewCon2_pg.ashx?ctgId=fe188544-e1fe-4230-b754-40e8d70ae432&infId=908d112a-2520-4c1b-a7f8-9032fedbfe5c&leftBarId=08f6f7e1-badb-49fd-8da9-009f8dcc14a0

然后观察最后的真实网址和原来的对比,发现有效部分是

infId=908d112a-2520-4c1b-a7f8-9032fedbfe5c

这个可以决定每个新闻的链接,其他部分是不变的

realurl= "http://www.shxz.gov.cn/sites/Iframe_ZZTY_cxs/dyn/Content.ashx?"+str(allurl[j])+"&ctgId=fe188544-e1fe-4230-b754-40e8d70ae432&leftBarId=08f6f7e1-badb-49fd-8da9-009f8dcc14a0"

所以一开始筛选出这部分决定行的代码即可,然后我发现这个正则有点难写,所以我直接用for循环遍历去重

最终代码如下

小白零基础也会的爬虫,就是有个反爬!手把手教你破解反爬!

 

然后我打开每个爬取到的本地文件,发现正常了,这个网站还有点反爬,需要设置伪装。要是需要爬取图片,也可以分开爬取保存即可。

速度方面我测试了爬取速度,感觉还是可以的。

欢迎大家尝试一下,然后让代码更加完善,代码我已经放到我的github上

https://github.com/BitCute/netCafe/blob/master/Python%20Robots/news_shxz_gov.p

---恢复内容结束---

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:零基础入门学习爬虫,这四大工具你一定要掌握的,尤其是最后一个

下一篇:02-python--循环语句&运算符和编码