写日志的办法多种多样，我这个是我喜欢的办法，可以做个参考 没啥说的，直接上代码 import time def write_log(value): now_time = time.time() # 获取当前日期和时间 time_format = ' %Y-%m-%d %H:%M:%S ' # 指定日期和时间格式 time_put = time.strftime(time_format...

2018-06-18 01:19:18

Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具，本节来介绍它的安装方式。 Scrapy-Splash的安装分为两部分。一个是Splash服务的安装，具体是通过Docker，安装之后，会启动一个Splash服务，我们可以通过它的接口来实现JavaScript页面的加载。另外一个是Scrapy-S...

2018-06-18 01:19:17

#try: except: else: #为什么叫容错呢，先说说错误，这里说的错误并不是因为马虎或者什么原因在脚本中留下的bug，这个不能容掉，所谓容掉就是略过这个错误，要在测试时候发现并修正，需要容错的错误是在脚本执行之前无法判断是不是会出错的错误，例如：在写爬虫的时候...

2018-06-18 01:19:00

# 有的时候可能要访问外国的网站下载资料或工具，这时可能出现各种问题，例如谷歌人机验证显示不了、网站打不开等，建议使用一个FQ软件 下载免费版的就行了，土豪请随意。下载后直接安装就行了 http://www.softpedia.com/get/Internet/Servers/Proxy-Servers/Lantern.s...

2018-06-18 01:19:04

selenium简介 Selenium也是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得...

2018-06-18 01:18:45

关于Python2.x中metaclass这一黑科技，我原以为我是懂的，只有当被打脸的时候，我才认识到自己too young too simple sometimes native。 为什么之前我认为自己懂了呢，因为我阅读过stackoverflow上的《what-is-a-metaclass-in-python》这一神作（注意，本文中专指e-sat...

2018-06-18 01:18:46

内容相关： multiprocessing： 进程的创建与运行 进程常用相关函数 进程池： 为什么要有进程池 进程池的创建与运行：串行、并行 回调函数 多进程multiprocessing: python中的多进程需要使用multiprocessing模块 多进程的创建与运行： 1.进程的创建：进程对象=multiproc...

2018-06-18 01:18:46

...

2018-06-18 01:18:38

...

2018-06-18 01:18:28

一、python简介 python语言的特性就是简单优雅，写容易明了的代码，而且尽量写少的代码。python为我们提供了完善的基础代码库，包括网络、文件、DB、文本等。除了内置库外，还有大量第三方库。所以，使用python开发，许多功能不需从零编写，直接使用现成的即可。 pytho...

2018-06-18 01:18:29