Python爬虫入门教程: 半次元COS图爬取
2019-05-08 07:29:15来源:博客园 阅读 ()
半次元COS图爬取-写在前面
今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/
打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 cosplay
,这种网站必然会有这个的存在啊,于是乎,我准备好我的大爬虫了。
把上面的链接打开之后,被我发现了吧,就知道我的第八感不错滴。接下来就是找入口,一定要找到图片链接的入口才可以做下面的操作
这个页面不断往下拖拽,页面会一直加载,当时当你拖拽一会,就停下来了,就是这个时机
发现入口,在我实际的操作中,其实还发现了很多其他的入口,这个就不一一的解释了,赶紧上车,进入 view more
之后,发现了页面依旧是一个下拉刷新的布局方式,专业术语 瀑布流
。
半次元COS图爬取-python爬虫第一步
打开开发者工具,切换到network
之后,发现 很多xhr
请求,发现这个,就代表这个网站很容易爬取了
提取待爬取的链接,分析规律
https://bcy.net/circle/timeline/loadtag?since=0&grid_type=timeline&tag_id=1482&sort=hot
https://bcy.net/circle/timeline/loadtag?since=26499.779&grid_type=timeline&tag_id=1482&sort=hot
https://bcy.net/circle/timeline/loadtag?since=26497.945&grid_type=timeline&tag_id=1482&sort=hot
发现只有一个参数在变,而且这变化好像没有任何规律可以寻找,没事,看数据,你就可以发现其中的奥妙了
这个网站的原理很简单,就是通过不断获取每次数据的最后一条的since
然后获取接下来的数据,那么我们按照它的规律实现代码就可以了,不要多线程了,这种规律是没有办法进行实操的。
这次的数据我把它存储到mongodb
里面,因为没有办法一次全部获取到,所以可能需要下次在继续使用
if __name__ == '__main__':
### mongodb 的一些基本操作
DATABASE_IP = '127.0.0.1'
DATABASE_PORT = 27017
DATABASE_NAME = 'sun'
start_url = "https://bcy.net/circle/timeline/loadtag?since={}&grid_type=timeline&tag_id=399&sort=recent"
client = MongoClient(DATABASE_IP, DATABASE_PORT)
db = client.sun
db.authenticate("dba", "dba")
collection = db.bcy # 准备插入数据
#####################################3333
get_data(start_url,collection)
获取网页数据这个地方,由我们前面的经验就变得很简单了
## 半次元COS图爬取-获取数据函数
def get_data(start_url,collection):
since = 0
while 1:
try:
with requests.Session() as s:
response = s.get(start_url.format(str(since)),headers=headers,timeout=3)
res_data = response.json()
if res_data["status"] == 1:
data = res_data["data"] # 获取Data数组
time.sleep(0.5)
## 数据处理
since = data[-1]["since"] # 获取20条数据的最后一条json数据中的since
ret = json_handle(data) # 代码实现在下面
try:
print(ret)
collection.insert_many(ret) # 批量出入数据库
print("上述数据插入成功!!!!!!!!")
except Exception as e:
print("插入失败")
print(ret)
##
except Exception as e:
print("!",end="异常,请注意")
print(e,end=" ")
else:
print("循环完毕")
网页解析代码
# 对JSON数据进行处理
def json_handle(data):
# 提取关键数据
list_infos = []
for item in data:
item = item["item_detail"]
try:
avatar = item["avatar"] # 用户头像
item_id = item["item_id"] # 图片详情页面
like_count = item["like_count"] # 喜欢数目
pic_num = item["pic_num"] if "pic_num" in item else 0 # 图片总数
reply_count =item["reply_count"]
share_count =item["share_count"]
uid = item["uid"]
plain = item["plain"]
uname = item["uname"]
list_infos.append({"avatar":avatar,
"item_id":item_id,
"like_count":like_count,
"pic_num":pic_num,
"reply_count":reply_count,
"share_count":share_count,
"uid":uid,
"plain":plain,
"uname":uname})
except Exception as e:
print(e)
continue
return list_infos
到现在就实现了,代码跑起来
小编整理一套Python资料和PDF,有需要Python学习资料可以加学习群:1004391443,反正闲着也是闲着呢,不如学点东西啦~~
原文链接:https://www.cnblogs.com/qingdeng123/p/10809662.html
如有疑问请与原作者联系
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
下一篇:20190505-旋转数字
- python3基础之“术语表(2)” 2019-08-13
- python3 之 字符串编码小结(Unicode、utf-8、gbk、gb2312等 2019-08-13
- Python3安装impala 2019-08-13
- 小白如何入门 Python 爬虫? 2019-08-13
- python_字符串方法 2019-08-13
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash