全局解释器锁--GIL

参考博客：https://www.cnblogs.com/mindsbook/archive/2009/10/15/thread-safety-and-GIL.html

　　　　    https://www.cnblogs.com/MnCu8261/p/6357633.html

　　　　　http://python.jobbole.com/87743/

一、前言

　　在多核cpu的背景下，基于多线程以充分利用硬件资源的编程方式也不断发展，也就是在同一时间，可以运行多个任务。但是Cpython中由于GIL的存在，导致同一时间内只有一个线程在运行。GIL的全称为Global Interpreter Lock,也就是全局解释器锁。存在在Python语言的主流执行环境Cpython中，GIL是一个真正的全局线程排他锁，在解释器执行任何Python代码时，都需要获得这把GIL锁。虽然 CPython 的线程库直接封装操作系统的原生线程，但 CPython 进程做为一个整体，同一时间只会有一个获得了 GIL 的线程在跑，其它的线程都处于等待状态等着 GIL 的释放。GIL 直接导致 CPython 不能利用物理多核的性能加速运算。

　　不同的线程也是被分配到不同的核上面运行的，但是同一时间只有一个线程在运行

二、为什么存在GIL

　　2.1 线程安全

　　想要利用多核的优势，我们可以采用多进程或者是多线程，两者的区别是资源是否共享。前者是独立的，而后者是共享的。相对于进程而言，多线程环境最大的问题是如果保证资源竞争、死锁、数据修改等。于是就有了线程安全。

　　 线程安全 是在多线程的环境下, 线程安全能够保证多个线程同时执行时程序依旧运行正确, 而且要保证对于共享的数据,可以由多个线程存取,但是同一时刻只能有一个线程进行存取.

　　既然,多线程环境下必须存在资源的竞争,那么如何才能保证同一时刻只有一个线程对共享资源进行存取?

加锁, 加锁可以保证存取操作的唯一性, 从而保证同一时刻只有一个线程对共享数据存取。

通常加锁也有2种不同的粒度的锁:

1. fine-grained(所谓的细粒度), 那么程序员需要自行地加,解锁来保证线程安全
2. coarse-grained(所谓的粗粒度), 那么语言层面本身维护着一个全局的锁机制,用来保证线程安全

前一种方式比较典型的是 java, Jython 等, 后一种方式比较典型的是 CPython (即Python)。

　　2.2 Python自身特点

　　依照Python自身的哲学, 简单 是一个很重要的原则,所以, 使用 GIL 也是很好理解的。多核 CPU 在 1990 年代还属于类科幻，Guido van Rossum 在创造 python 的时候，也想不到他的语言有一天会被用到很可能 多核的 CPU 上面，一个全局锁搞定多线程安全在那个时代应该是最简单经济的设计了。简单而又能满足需求，那就是合适的设计（对设计来说，应该只有合适与否，而没有好与不好）。

三、线程切换

　　一个线程无论何时开始睡眠或等待网络 I/O，其他线程总有机会获取 GIL 执行 Python 代码。这是协同式多任务处理。CPython 也还有抢占式多任务处理。如果一个线程不间断地在 Python 2 中运行 100次指令，或者不间断地在 Python 3 运行15 毫秒，那么它便会放弃 GIL，而其他线程可以运行。

　　3.1 协同式多任务处理

　　当一项任务比如网络 I/O启动，而在长的或不确定的时间，没有运行任何 Python 代码的需要，一个线程便会让出GIL，从而其他线程可以获取 GIL 而运行 Python。这种礼貌行为称为协同式多任务处理，它允许并发，多个线程同时等待不同事件。　　

def do_connect():
    s = socket.socket()
    s.connect(('python.org', 80))  # drop the GIL
 
for i in range(2):
    t = threading.Thread(target=do_connect)
    t.start()

　　两个线程在同一时刻只能有一个执行 Python ，但一旦线程开始连接，它就会放弃 GIL ，这样其他线程就可以运行。这意味着两个线程可以并发等待套接字连接，这是一件好事。在同样的时间内它们可以做更多的工作。

　　3.2 抢占式多任务处理

　　如果没有I/O中断，而是CPU密集型的的程序，解释器运行一段时间就会放弃GIL,而不需要经过正在执行代码的线程允许，这样其他线程便能运行。在python3中，这个时间间隔是15毫秒。

四、Python中的线程安全

　　如果一个线程可以随时失去 GIL，你必须使让代码线程安全。 然而 Python 程序员对线程安全的看法大不同于 C 或者 Java 程序员，因为许多 Python 操作是原子的。

　　在列表中调用 sort()，就是原子操作的例子。线程不能在排序期间被打断，其他线程从来看不到列表排序的部分，也不会在列表排序之前看到过期的数据。原子操作简化了我们的生活，但也有意外。例如，+ = 似乎比 sort() 函数简单，但+ =不是原子操作。

　　在python 2中（python3中结果没有问题）：

# -*- coding: UTF-8 -*-
import time
import threading

n = 0


def add_num():
    global n
    time.sleep(1)
    n += 1


if __name__ == '__main__':
    thread_list = []

    for i in range(100):
        t = threading.Thread(target=add_num)
        t.start()
        thread_list.append(t)

    for t in thread_list:
        t.join()

    print 'final num:', n

　　输出：

[root@MySQL ~]# python mutex.py 
final num: 98
[root@MySQL ~]# python mutex.py 
final num: 100
[root@MySQL ~]# python mutex.py 
final num: 96
[root@MySQL ~]# python mutex.py 
final num: 99
[root@MySQL ~]# python mutex.py 
final num: 100

　　得到的结果本来应该是100，但是实际上并不一定。

　　原因就在于，运行中有线程切换发生，一个线程失去了GIL，当一个线程A获取n = 43时，还没有完成n +=1这个操作，就失去了GIL，此时正好另一个线程B获取了GIL，并也获取了 n = 43，B完成操作后，n = 44。可是先前那个线程A又获得了GIL，又开始运行，最后也完成操作 n = 44。所有最后的结果就会出现偏差。

　　上图就是n += 1运行到一半时失去GIL后又获得GIL的过程。

五、Mutex互斥锁

　　如何解决上面的偏差，保证结果的正确性？其实我们要做的就是确保每一次的运行过程是完整的，就是每次线程在获取GIL后，要将得到的共享数据计算完成后，再释放GIL锁。那又如何能做到这点呢？还是加锁，给运行的程序加锁，就能确保在程序运行时，必须完全运行完毕。　　

# -*- coding: UTF-8 -*-
import time
import threading

n = 0
lock = threading.Lock()    # 添加一个锁的实例

def add_num():
    global n
    with lock:    # 获取锁
        n += 1


if __name__ == '__main__':
    thread_list = []

    for i in range(100):
        t = threading.Thread(target=add_num)
        t.start()
        thread_list.append(t)

    for t in thread_list:
        t.join()        # 主线程等待所有线程执行完毕

    print 'final num:', n

　　注：给程序加锁，程序就变成串行的了。所以程序中不能有sleep,同样数据量也不能特别大，否则会影响效率

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有