python之多进程

# 开启子进程的方式1:

from multiprocessing import Process
import time

def task(name):
    print('%s is running' %name)
    time.sleep(3)
    print('%s is done' %name)

# 在windows系统上开启子进程的操作必须放到该行代码下
if __name__ == '__main__':
    p=Process(target=task,args=('子进程',)) # Process(target=task,kwargs={'name':'子进程'}) #
    p.start() # 仅仅只是向操作系统发送一个创造子进程的信号
    print('主')

# 开启子进程的方式2:
from multiprocessing import Process
import time

class Myprocess(Process):
    def __init__(self,name):
        super().__init__()
        self.name=name

    def run(self):
        print('%s is running' %self.name)
        time.sleep(3)
        print('%s is done' %self.name)

# 在windows系统上开启子进程的操作必须放到该行代码下
if __name__ == '__main__':
    p=Myprocess('子进程')
    p.start() # 仅仅只是向操作系统发送一个创造子进程的信号，start会调用run方法
    p.join()
    print('主')

from multiprocessing import Process
n=100 #在windows系统中应该把全局变量定义在if __name__ == '__main__'之上就可以了
def work():
    global n
    n=0
    print('子进程内: ',n)


if __name__ == '__main__':
    p=Process(target=work)
    p.start()
    print('主进程内: ',n)

from socket import *
from multiprocessing import Process

FTPS=socket(AF_INET,SOCK_STREAM)
FTPS.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
FTPS.bind(('127.0.0.1',9999))
FTPS.listen(5)

def talk(conn):
    while True:
        try:
            msg=conn.recv(1024)
            if not msg :break
            conn.sendall(msg.upper())
        except Exception:
            break

if __name__ == '__main__':
    while True:
        conn,client_addr=FTPS.accept()
        p=Process(target=talk,args=(conn,))
        p.start()

from socket import *

FTPC=socket(AF_INET,SOCK_STREAM)
FTPC.connect(('127.0.0.1',9999))

while True:
    cmd=input('>>:').strip()
    if not cmd:continue

    FTPC.sendall(cmd.encode('utf-8'))
    msg=FTPC.recv(1024)
    print(msg.decode('utf-8'))

from multiprocessing import Process
import time
import random

class Task(Process):
    def __init__(self,name):
        super().__init__()
        self.name=name


    def run(self):
        print('%s is running' %self.name)
        time.sleep(random.randint(1,3))
        print('%s is ending' %self.name)

if __name__ == '__main__':
    p=Task('子进程')
    p.start()
    p.join(0.5) #等待p停止,等0.5秒就不再等了
    print('开始')

from multiprocessing import Process
import time
import random
class Task(Process):
    def __init__(self,name):
        super().__init__()
        self.name=name


    def run(self):
        print('%s is running' %self.name)
        time.sleep(random.randint(1,3))
        print('%s is ending' %self.name)
if __name__ == '__main__':
    p_msg = []
    for p in range(4):
        p=Task('子进程%s'%p)
        p_msg.append(p)
        p.start()
    for p in p_msg:
        p.join()
#当然不是了,必须明确：p.join()是让谁等？
#很明显p.join()是让主线程等待p的结束，卡住的是主线程而绝非进程p，

#详细解析如下：
#进程只要start就会在开始运行了,所以p1-p4.start()时,系统中已经有四个并发的进程了
#而我们p1.join()是在等p1结束,没错p1只要不结束主线程就会一直卡在原地,这也是问题的关键
#join是让主线程等,而p1-p4仍然是并发执行的,p1.join的时候,其余p2,p3,p4仍然在运行,等#p1.join结束,可能p2,p3,p4早已经结束了,这样p2.join,p3.join.p4.join直接通过检测，无需等待
# 所以4个join花费的总时间仍然是耗费时间最长的那个进程运行的时间


    print('主线程')


#上述启动进程与join进程可以简写为
# p_l=[p1,p2,p3,p4]
#
# for p in p_l:
#     p.start()
#
# for p in p_l:
#     p.join()

from multiprocessing import Process
import time
import random
class Myprocess(Process):
    def __init__(self,name):
        # self.name=name
        # super().__init__() #Process的__init__方法会执行self.name=Myprocess-1,
        #                    #所以加到这里,会覆盖我们的self.name=name

        #为我们开启的进程设置名字的做法
        super().__init__()
        self.name=name

    def run(self):
        print('%s is running' %self.name)
        time.sleep(random.randrange(1,3))
        print('%s is  ending' %self.name)
if __name__ == '__main__':

    p=Myprocess('子进程')
    p.start()
    print('开始')
    print(p.pid) #查看pid

#进程对象的其他方法一:terminate,is_alive
from multiprocessing import Process
import time
import random
class Myprocess(Process):
    def __init__(self,name):
        # self.name=name
        # super().__init__() #Process的__init__方法会执行self.name=Myprocess-1,
        #                    #所以加到这里,会覆盖我们的self.name=name

        #为我们开启的进程设置名字的做法
        super().__init__()
        self.name=name

    def run(self):
        print('%s is running' %self.name)
        time.sleep(random.randrange(1,3))
        print('%s is  ending' %self.name)
if __name__ == '__main__':

    p=Myprocess('子进程')
    p.start()

    p.terminate()#关闭进程,不会立即关闭,所以is_alive立刻查看的结果可能还是存活
    print(p.is_alive()) #结果为True

    print('开始')
    print(p.is_alive()) #结果为False

#总结僵尸进程和孤儿进程

#僵尸进程：有害
例如有个进程，它定期的产 生一个子进程，这个子进程需要做的事情很少，做完它该做的事情之后就退出了，因此这个子进程的生命周期很短，但是，父进程只管生成新的子进程，至于子进程 退出之后的事情，则一概不闻不问，这样，系统运行上一段时间之后，系统中就会存在很多的僵死进程，倘若用ps命令查看的话，就会看到很多状态为Z的进程。 严格地来说，僵死进程并不是问题的根源，罪魁祸首是产生出大量僵死进程的那个父进程。因此，当我们寻求如何消灭系统中大量的僵死进程时，答案就是把产生大 量僵死进程的那个元凶枪毙掉（也就是通过kill发送SIGTERM或者SIGKILL信号啦）。枪毙了元凶进程之后，它产生的僵死进程就变成了孤儿进 程，这些孤儿进程会被init进程接管，init进程会wait()这些孤儿进程，释放它们占用的系统进程表中的资源，这样，这些已经僵死的孤儿进程 就能瞑目而去了。

#孤儿进程无害：会被系统接管

from multiprocessing import Process
import time
def foo():
    print(123)
    time.sleep(1)
    print("end123")
if __name__ == '__main__':
    p1=Process(target=foo)
    p1.daemon = True
    p1.start()
    print('主进程')

#主进程代码运行完毕,守护进程就会结束
from multiprocessing import Process
from threading import Thread
import time
def foo():
    print(123)
    time.sleep(1)
    print("end123")

def bar():
    print(456)
    time.sleep(3)
    print("end456")

if __name__ == '__main__':

    p1=Process(target=foo)
    p2=Process(target=bar)

    p1.daemon=True
    p1.start()
    p2.start()
    print("main-------") #打印该行则主进程代码结束,则守护进程p1应该被终止,可能会有p1任务执行的打印信息123,因为主进程打印main----时,p1也执行了,但是随即被终止

from multiprocessing import Process,Lock
import os,time

#互斥锁 可理解为生活中卫生间的锁

def work(mutex):
    # mutex.acquire() 抢锁操作
    print('%s is running' %os.getpid())
    time.sleep(2)
    print('%s is done' %os.getpid())
    # mutex.release()  #释放锁操作

if __name__ == '__main__':
    # mutex=Lock()    #多进程需加在main后
    for i in range(3):
        p=Process(target=work)#args=(mutex,)#传mutex
        p.start()

from multiprocessing import Process,Lock
import json
import time,random

def search(i):
    with open('db.json','rt',encoding='utf-8') as f: #db.json 文件 {"count": 1}，表示余一张票
        dic=json.load(f)
        time.sleep(1)
        print('路人%s查看到剩余票数：%s' %(i,dic['count']))

def get(i):
    with open('db.json','rt',encoding='utf-8') as f:
        dic=json.load(f)
    if dic['count'] > 0:
        # 有票
        dic['count']-=1
        time.sleep(random.randint(1,3)) #关键在于此处 睡的同时所有子进程都读取到1张票
        with open('db.json','wt',encoding='utf-8') as f:
            json.dump(dic,f)
            print('路人%s抢票成功' % i)

    else:
        print('路人%s抢票失败' %i)


def task(i,mutex):
    search(i)
    # mutex.acquire()
    get(i)
    # mutex.release()

if __name__ == '__main__':
    mutex = Lock()

    for i in range(1,11):
        p=Process(target=task,args=(i,mutex))
        p.start()
        # p.join()

    print('主进程')

'''
multiprocessing模块支持进程间通信的两种主要形式:管道和队列
都是基于消息传递实现的,但是队列接口
'''

from multiprocessing import Process,Queue
import time
q=Queue(3)


#put ,get ,put_nowait,get_nowait,full,empty
q.put(3)
q.put(3)
q.put(3)
print(q.full()) #满了

print(q.get())
print(q.get())
print(q.get())
print(q.empty()) #空了

1 q.put方法用以插入数据到队列中，put方法还有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，该方法会阻塞timeout指定的时间，直到该队列有剩余的空间。如果超时，会抛出Queue.Full异常。如果blocked为False，但该Queue已满，会立即抛出Queue.Full异常。
2 q.get方法可以从队列读取并且删除一个元素。同样，get方法有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，那么在等待时间内没有取到任何元素，会抛出Queue.Empty异常。如果blocked为False，有两种情况存在，如果Queue有一个值可用，则立即返回该值，否则，如果队列为空，则立即抛出Queue.Empty异常.
3  
4 q.get_nowait():同q.get(False)
5 q.put_nowait():同q.put(False)
6 
7 q.empty():调用此方法时q为空则返回True，该结果不可靠，比如在返回True的过程中，如果队列中又加入了项目。
8 q.full()：调用此方法时q已满则返回True，该结果不可靠，比如在返回True的过程中，如果队列中的项目被取走。
9 q.qsize():返回队列中目前项目的正确数量，结果也不可靠，理由同q.empty()和q.full()一样

    conn1.recv():接收conn2.send(obj)发送的对象。如果没有消息可接收，recv方法会一直阻塞。如果连接的另外一端已经关闭，那么recv方法会抛出EOFError。
    conn1.send(obj):通过连接发送对象。obj是与序列化兼容的任意对象
 #其他方法：
conn1.close():关闭连接。如果conn1被垃圾回收，将自动调用此方法
conn1.fileno():返回连接使用的整数文件描述符
conn1.poll([timeout]):如果连接上的数据可用，返回True。timeout指定等待的最长时限。如果省略此参数，方法将立即返回结果。如果将timeout射成None，操作将无限期地等待数据到达。
 
conn1.recv_bytes([maxlength]):接收c.send_bytes()方法发送的一条完整的字节消息。maxlength指定要接收的最大字节数。如果进入的消息，超过了这个最大值，将引发IOError异常，并且在连接上无法进行进一步读取。如果连接的另外一端已经关闭，再也不存在任何数据，将引发EOFError异常。
conn.send_bytes(buffer [, offset [, size]])：通过连接发送字节数据缓冲区，buffer是支持缓冲区接口的任意对象，offset是缓冲区中的字节偏移量，而size是要发送字节数。结果数据以单条消息的形式发出，然后调用c.recv_bytes()函数进行接收    
 
conn1.recv_bytes_into(buffer [, offset]):接收一条完整的字节消息，并把它保存在buffer对象中，该对象支持可写入的缓冲区接口（即bytearray对象或类似的对象）。offset指定缓冲区中放置消息处的字节位移。返回值是收到的字节数。如果消息长度大于可用的缓冲区空间，将引发BufferTooShort异常。

from multiprocessing import Process,Pipe

import time,os
def consumer(p,name):
    left,right=p
    left.close()
    while True:
        try:
            baozi=right.recv()
            print('%s 收到包子:%s' %(name,baozi))
        except EOFError:
            right.close()
            break
def producer(seq,p):
    left,right=p
    right.close()
    for i in seq:
        left.send(i)
        # time.sleep(1)
    else:
        left.close()
if __name__ == '__main__':
    left,right=Pipe()

    c1=Process(target=consumer,args=((left,right),'c1'))
    c1.start()


    seq=(i for i in range(10))
    producer(seq,(left,right))

    right.close()
    left.close()

    c1.join()
    print('主进程')

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

基于队列实现生产者消费者模型

from multiprocessing import Process,Queue
import time,random,os
def consumer(q):
    while True:
        res=q.get()
        time.sleep(random.randint(1,3))
        print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))

def producer(q):
    for i in range(10):
        time.sleep(random.randint(1,3))
        res='包子%s' %i
        q.put(res)
        print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))

if __name__ == '__main__':
    q=Queue()
    #生产者们:即厨师们
    p1=Process(target=producer,args=(q,))

    #消费者们:即吃货们
    c1=Process(target=consumer,args=(q,))

    #开始
    p1.start()
    c1.start()
    print('主')

from multiprocessing import Process,JoinableQueue
import time,random

def producer(food,name,q):
    for i in range(3):
        time.sleep(random.randint(1,3))
        res='%s%s' %(food,i)
        q.put(res)
        print('厨师%s生产了%s' %(name,res))


def consumer(name,q):
    while True:
        res=q.get()
        if res is None:break
        time.sleep(random.randint(1,3))
        print('吃货%s吃了%s' %(name,res))
        q.task_done() #向q.join()发送一次信号,证明一个数据已经被取走了

if __name__ == '__main__':
    q=JoinableQueue()
    #生产者们
    p1=Process(target=producer,args=('包子','tom',q))
    p2=Process(target=producer,args=('蛋汤','jerry',q))
    p3=Process(target=producer,args=('红烧肉','bob',q))
    #消费者们
    c1 = Process(target=consumer,args=('吃货1',q))
    c2 = Process(target=consumer,args=('吃货2',q))
    c1.daemon=True
    c2.daemon=True

    p1.start()
    p2.start()
    p3.start()
    c1.start()
    c2.start()


    p1.join()
    p2.join()
    p3.join()
    q.join() #主进程最后一行代码运行完毕，生产者全部正常死亡，消费者也没有存在的意义了

    print('主')

互斥锁 同时只允许一个线程更改数据，而Semaphore是同时允许一定数量的线程更改数据 ，比如厕所有3个坑，那最多只允许3个人上厕所，后面的人只能等里面有人出来了才能再进去，如果指定信号量为3，那么来一个人获得一把锁，计数加1，当计数等于3时，后面的人均需要等待。一旦释放，就有人可以获得一把锁
    信号量与进程池的概念很像，但是要区分开，信号量涉及到加锁的概念
from multiprocessing import Process,Semaphore
import time

def test(sem,user):
    sem.acquire()
    print('%s 占一个位置' %user)
    time.sleep(2)
    sem.release()

if __name__ == '__main__':
    sem=Semaphore(3)
    p_l=[]
    for i in range(12):
        p=Process(target=test,args=(sem,'user%s' %i,))
        p.start()
        p_l.append(p)


    for i in p_l:
        i.join()
    print('主')

python线程的事件用于主线程控制其他线程的执行，事件主要提供了三个方法 set、wait、clear。

    事件处理的机制：全局定义了一个“Flag”，如果“Flag”值为 False，那么当程序执行 event.wait 方法时就会阻塞，如果“Flag”值为True，那么event.wait 方法时便不再阻塞。

clear：将“Flag”设置为False
set：将“Flag”设置为True

from multiprocessing import Process,Event
import time,random

def car(e,n):
    while True:
        if not e.is_set(): #Flase
            print('\033[31m红灯亮\033[0m，car%s等着' %n)
            e.wait()
            print('\033[32m车%s 看见绿灯亮了\033[0m' %n)
            time.sleep(random.randint(3,6))
            if not e.is_set():
                continue
            print('走你,car', n)
            break

def police_car(e,n):
    while True:
        if not e.is_set():
            print('\033[31m红灯亮\033[0m，car%s等着' % n)
            e.wait(1)
            print('灯的是%s，警车走了,car %s' %(e.is_set(),n))
            break

def traffic_lights(e,inverval):
    while True:
        time.sleep(inverval)
        if e.is_set():
            e.clear() #e.is_set() ---->False
        else:
            e.set()

if __name__ == '__main__':
    e=Event()
    # for i in range(10):
    #     p=Process(target=car,args=(e,i,))
    #     p.start()

    for i in range(5):
        p = Process(target=police_car, args=(e, i,))
        p.start()
    t=Process(target=traffic_lights,args=(e,10))
    t.start()

    print('============》')

from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor
import os
import time
import random

def task(x):
    print('%s is running' %os.getpid())
    time.sleep(random.randint(1,3))
    return x**2

if __name__ == '__main__':
    p=ProcessPoolExecutor() #不指定参数默认池的大写等于cpu的核数
    for i in range(10):
        p.submit(task,i)  #提交任务
    print('主')

if __name__ == '__main__':
    # 异步调用
    p=ProcessPoolExecutor() #不指定参数默认池的大写等于cpu的核数
    futures=[]
    for i in range(10):
        future=p.submit(task,i)  #提交任务
        futures.append(future)
    p.shutdown(wait=True) #关闭了进程池的入口，然后执行join操作
    for future in futures:
        print(future.result()) #拿到结果
    print('主')

#main上方代码     与上面示例一致

if __name__ == '__main__':
    p=ProcessPoolExecutor() #不指定参数默认池的大写等于cpu的核数
    for i in range(10):
        res=p.submit(task,i).result()
        print(res)

    print('主')