爬虫——线程进程

2018-09-29 03:58:44来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

进程

使用

  • 导入类库
import multiprocessing
  • 创建进程
p1 = multiprocessing.Process(target=test1) 

Process参数:group=None,target=None, name=None, args=(), kwargs={})

  • 全局变量
import time, os
import multiprocessing

nums = [11, 22, 33]

def test():
    nums.append(44)
    print('在进程1中nums=%s' % str(nums),id(nums))
    time.sleep(3)

def test2():
    print('在进程2中nums=%s' % str(nums),id(nums))

def main():
    print('----in 主进程 pid=%d----父进程pid=%d----' % (os.getpid(), os.getppid()))
    p = multiprocessing.Process(target=test)
    p.start()

    p2 = multiprocessing.Process(target=test2)
    p2.start()
    # test()
    # test2()

if __name__ == '__main__':
    main()

进程间全局变量不共享,因为进程是复制出来的

线程

使用

  • 导入类库
import threading
  • 创建线程
t1 = threading.Thread(target=test1,args=(1000000,))

Thread参数:group=None,target=None, name=None,args=(), kwargs=None, *, daemon=None

  • 全局变量
import time,threading

g_num = 0
mutex = threading.Lock()

def test1(num):
    global g_num
    # mutex.acquire()     
    for i in range(num):
        mutex.acquire()
        g_num += 1
        mutex.release()
    # mutex.release()
    print('-------in test1 g_num=%d-----' % g_num)

def test2(num):
    global g_num
    # mutex.acquire()     
    for i in range(num):
        mutex.acquire()
        g_num += 1
        mutex.release()
    # mutex.release()
    print('-------in test2 g_num=%d-----' % g_num)

def main():
    t1 = threading.Thread(target=test1,args=(1000000,))
    t2 = threading.Thread(target=test2,args=(1000000,))
    t1.start()
    t2.start()
    time.sleep(3)
    print('-------------in main Thread g_num = %d----' % g_num)

if __name__ == '__main__':
    main()

临界区,在同一时间只有一个程序进入代码块执行,一般括住改变的地方

如果其他线程调用acquire,当前线程则进入等待

threading.RLock() 递归锁 threading.Condition 信号量或条件锁

  • 生产者消费者模式

生产者消费者模式是线程间通信的一种应用

在使用数据结构的时候确定是否是线程安全,Queue本身是线程安全的,列表list([])、字典dic({})都不是线程安全的

def set_value(q):
    index = 0
    while True:
        q.put(index)
        index += 1
        q.put(index)
        index += 1
        time.sleep(2)

def get_value(q):
    while True:
        print('消费者获取数据:',q.get())   #若队列为空就sleep休眠,直到队列有数据

def main():
    q = Queue(4)
    t1 = threading.Thread(target=set_value,args=[q])
    t2 = threading.Thread(target=get_value,args=[q])
    t1.start()
    t2.start()

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:Python爬虫爬取百度翻译之数据提取方法json

下一篇:Python|面向对象