day01 爬虫基本原理以及requests请求库
2019-07-24 09:11:15来源:博客园 阅读 ()
一、爬虫基本原理
1.什么是爬虫
爬虫就是爬取数据
2.什么是互联网
有一堆网络设备,把一台台的计算机互联到一起称为互联网
3.互联网建立的目的
数据的传递与数据的共享
4.什么是数据
例如:
电商平台的商品信息
链家,自如租房平台的房源信息
...
12306,票务信息
5.什么是上网
普通用户:
打开浏览器
——>输入网址
——>往目标主机发送请求
——>返回响应数据
——>把数据渲染到浏览器中
爬虫程序:
模拟浏览器
——>往目标主机发送请求
——>返回响应数据
——>解析并提取有价值的数据
——>保存数据(文件写入本地、持久化到数据库中)
6.爬虫的全过程
1.发送请求(请求库:Requests/Selenium)
2.获取响应
3.解析数据(解析库:BeautifulSoup4)
4.保存数据(存储库:文件保存/MongoDB)
总结:我们可以把互联网中的数据比喻成一座宝藏,爬虫其实就是在挖宝藏
二、requests请求库
1.安装与使用
pip3 install requests
2.分析请求流程(模拟浏览器)
-百度:
1.请求URL
2.请求方式
3.响应状态码
具体事例如下
''' 爬校花网视频: 一、请求rul http://www.xiaohaur.com/v/ 二、请求方式 get 三、请求头信息 user-agent:用户代理 '''
1 import time 2 import requests 3 #爬虫三部曲 4 #1.发送请求 5 def get_page(url): 6 response = requests.get(url) 7 return response 8 # 2.解析数据 9 import re 10 def parse_index(html): 11 # findall匹配所有 12 # re.findall('正则匹配规则','匹配文本','匹配模式') 13 # re.S:对所有文本进行搜索匹配 14 detail_urls = re.findall( 15 '<div class="items"><a class="imglink" href="(.*?)"', 16 html,re.S 17 ) 18 return detail_urls 19 # 解析详情页 20 def parse_detail(html): 21 movie_url = re.findall('<source src="(.*?)">',html,re.S) 22 #print(movie_url) 23 if movie_url: 24 return movie_url[0] 25 # 3.保存数据 26 import uuid 27 #uuid.uuid4()根据时间戳生成一段世界上唯一的字符串 28 def save_video(content): 29 with open(f'{uuid.uuid4()}.mp4','wb')as f: 30 f.write(content) 31 print('视频下载完毕') 32 # main + 回车键 33 # 测试用例 34 if __name__ == '__main__': 35 for line in range(6): 36 url=f'http://www.xiaohuar.com/list-3-{line}.html' 37 #发送请求 38 response = requests.get(url) 39 #print(response) 40 # # 返回响应状态码 41 # print(response.status_code) 42 # # 返回响应文本 43 # print(response.text) 44 45 #解析主页页面 46 detail_urls = parse_index(response.text) 47 48 #循环遍历详情页url 49 for detail_url in detail_urls: 50 # print(detail_url) 51 # 往每一个详情页发送请求 52 detail_res = get_page(detail_url) 53 #print(response.text) 54 #解析详情页获取视频url 55 movie_url = parse_detail(detail_res.text) 56 # 判断视频url存在则打印 57 if movie_url: 58 print(movie_url) 59 60 # 往视频url发送请求获取视频二进制流 61 movie_res = get_page(movie_url) 62 63 # 把视频的二进制流传给save_video函数保存到本地 64 save_video(movie_res.content)
POST请求自动登录GitHub:
''' POST请求自动登录GitHub: 一、请求rul https://github.com/session 二、请求方式 POST 三.请求头 cookies User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36 四.请求体 from data commit: Sign in utf8: ? authenticity_token: LVyIb9FUxiI6XMain4PXzgOjKn9DzYzqdCwMvosVn+/Cht8LVgCuKjc7fbNfk5TiXf4W+6y56GmRnu1A4T0VIQ== login: sjdkjw password: 1562132 webauthn-support: supported ''' #获取token随机字符串 ''' 1.访问登录页面获取token随机字符串 一、请求rul https://github.com/login 二、请求方式 GET 三.请求头 cookies User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36 2.解析并提取token字符串 #正则 <input type="hidden" name="authenticity_token" value="(.*?)" /> ''' import requests import re login_url ='https://github.com/login' #login页面的请求头信息 login_header = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36' } login_res = requests.get(url=login_url,headers=login_header) #print(login_res.text) #解析提取token字符串 authenicity_token = re.findall( '<input type="hidden" name="authenticity_token" value="(.*?)" />', login_res.text,re.S )[0] print(authenicity_token) # 2.开始登录github ''' POST请求自动登录GitHub: 一、请求rul https://github.com/session 二、请求方式 POST 三.请求头 cookies User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36 四.请求体 from data commit: Sign in utf8: ? authenticity_token: LVyIb9FUxiI6XMain4PXzgOjKn9DzYzqdCwMvosVn+/Cht8LVgCuKjc7fbNfk5TiXf4W+6y56GmRnu1A4T0VIQ== login: **** password: ***** webauthn-support: supported ''' #获取login页面的cookies信息 login_cookies = login_res.cookies.get_dict() # session登录url session_url = 'https://github.com/session' #请求头信息 session_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36' } #请求体信息 form_data = { "commit": "Sign in", "utf8": "?", "authenticity_token": "authenicity_token", "login": "****", "password": "*****", "webauthn-support": "supported" } session_res = requests.post(url=session_url, headers=session_headers, cookies=login_cookies, data=form_data ) with open('github1.html','w',encoding='utf-8') as f: f.write(session_res.text)
原文链接:https://www.cnblogs.com/my-star/p/11113809.html
如有疑问请与原作者联系
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
上一篇:Python总结1
下一篇:python学习-23 函数
- 小白如何入门 Python 爬虫? 2019-08-13
- python day2-爬虫实现github登录 2019-08-13
- python爬虫学习之爬取超清唯美壁纸 2019-08-13
- python爬虫学习之用Python抢火车票的简单小程序 2019-08-13
- python爬虫常用库 2019-08-13
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash