一：python下载 官网下载对应的版本，安装，设置坏境变量，设置环境变量有两种方法，一种方法是在PATH中添加路径，另一种方法稍后介绍。 二：运行python的方式 python属于一种脚本语言，直接通过解释器就可以实现相应的功能： 即： 其他语言： 源代码 - 编译成可执行程...

2018-09-29 03:57:25

内置函数补充及__getattribute__ isinstance(obj,cls)检查obj是否是类cls的实例，反映族谱关系（不仅父类可以，父类的父类也可以） issubclass(subcls,cls)检查subcls是否是cls的子类 __getattribute__属性存不存在都会触发它 ‘大哥’ 里面抛出Attribute Error时交给...

2018-09-29 03:57:26

爬虫综合案例 开发步骤： 导入类库 创建爬虫通用类 初始化init方法 类中编写重试下载模块 类中编写真正下载模块 类外编写保存函数 类外编写获取robots.txt函数 类外编写抽取网址函数 类中编写网址正常化函数 创建下载限流类 爬虫通用类封装run方法 创建爬虫对象运行 导...

2018-09-29 03:57:25

教程： 一：列表的创建 List（列表） 是 Python 中使用最频繁的数据类型。列表中元素的类型可以不相同，数字，字符串甚至可以包含列表（所谓嵌套） （1）List写在方括号之间，元素用逗号隔开 （2）和字符串一样，list可以被索引和切片 （3）List中的元素是可以改变的...

2018-09-29 03:57:24

1. 生成器定义 在Python中，一边循环一边计算的机制，称为生成器：generator。 2. 为什么要有生成器 列表所有数据都在内存中，如果有海量数据的话将会非常耗内存。 如：仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。 如果列表元素按照某种算...

2018-09-29 03:57:24

序列化：将对象转换为可通过网络传输或可存储到本地磁盘的数据格式的转换过程，称为序列化，反之，称为反序列化 json: 用来实现不同语言，不同程序直接的信息交互，json支持所有高级语言之间的序列化交互，json只能通过 字典—字符串—字典 的格式转换 注：json是读写...

2018-09-19 02:52:17

爬虫相关概念简介 a)什么是爬虫： 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 b)哪些语言可以实现爬虫： 1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线...

2018-09-19 02:52:15

本次爬取自如网房源信息所用到的知识点: 1.requests get请求 2. lxml解析html 3. Xpath 4. MongoDB存储 正文 1.分析目标站点 1. url:http://hz.ziroom.com/z/nl/z3.html?p=2 的p参数控制分页 2. get请求 2.获取单页源码 1 # -*- coding: utf-8 -*- 2 import requests 3...

2018-09-19 02:52:11

1.十进制与二进制之间的转换 (1) 十进制转二进制的方法：使用十进制的数据不断除以2，直到商为0为止，从下往上取余就是对应的二进制。 （2）二进制转十进制：使用二进制的每一位乘以2的n次方，n从0开始，每次递增1，然后把各部分的数据相加即可。 2.十进制，八进制，二...

2018-09-19 02:52:09

一、python3.x安装 1）由于centos7原本就安装了Python2，而且这个Python2不能被删除，因为有很多系统命令，比如yum都要用到。 官网：https://www.python.org/ [root@host130 ~]# pythonPython 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8...

2018-09-19 02:52:07