三方包引入

使用到了以下包：

• 爬虫 scrapy
• 网络测试 requests
• 数据分析 numpy和pandas
• 绘图 matplotlib和wordcloud

pip install scrapypip install requestspip install numpypip install pandaspip install matplotlibpip install wordcloud

爬取数据

打开QQ音乐网页版的分类歌单界面，乍一看，一分析网页源码，看到下图：

那么看来它就是使用动态填充的，那么它肯定就调用了接口，请求数据，那么就去找，在检查里的network中找啊找，最终找到了它：

然后写上代码，经过调试，终于成功了。

最后我把它保存成一个csv文件，通过播放量排序，截取前20，得到了下图

分析数据

对于这个数据的处理，就用到了numpy和pandas以及matplotlib。经过分析得出下图结果:

播放次数分析

标签分析

github地址：

https://github.com/arvinljw/SpiderNet/blob/master/qqmusic/qqmusic/spiders/qqmusic.py

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有