go中的协程原理详解

大家好，我是好同学 · 收录于 2023-06-03 04:33:10 · source URL

为什么要有协程？

我们使用工厂来表示计算机，而内存空间就相当于工厂的地皮，那么我们可以认为进程就是工厂中的厂房，它占据了工厂的地皮。（进程时分配资源的最小单位）

线程是什么呢？我们继续使用这个场景来理解，线程此时就相当于工厂中的流水工作线（线程时资源调度的最小单位），每个厂房可以有多个流水线（进程可以有多个线程），流水线的存在占据了厂房的空间（线程使用系统分配给进程的内存，且同一个线程之间共享内存）。

我们运行两段代码来模拟线程并发的工作状态，如下图所示：让CPU在多线程之间互相切换，如下图所示，CPU先执行线程一，获得中间结果，然后系统对该CPU进行切换；

切换后来到线程二，如下图所示，获得线程二的中间结果，循环往复，这样一个单核CPU就实现了多线程的并发工作。

通过以上的过程，我们可以知道线程会占用CPU时间，且线程的调度需要由系统来进行，开销会比较大，如果还是使用如上的场景来理解，线程相当于工厂的生产线（线程里跑的程序就是生产流程），会占用工人的工时。所以线程的缺点如下：

• 线程本身占用资源大
• 线程的操作开销大
• 线程切换开销大

那么协程是如何工作的呢？首先协程包括执行代码和临时执行的状态（如变量中间值），此时的CPU将固定在一个线程上执行，所以不存在线程的切换开销，通过将协程的相关数据放在线程上，让CPU来执行，执行结束后将中间结果存放至协程，然后清空，转而执行协程二。

协程二的执行和协程一相似，也是先将其放在线程上进行执行，然后保存相关中间变量。

这样的方式就是让同一个线程执行了多个协程。协程的本质是将一段数据的运行状态进行打包，可以在线程之间调度，所以协程并不取代线程，协程也在线程上运行（线程是协程的资源，协程使用线程这个资源去运行）。这样的好处，也就是说协程的好处：

• 资源利用：协程可以利用任何的线程去运行，不需要等待CPU的调度；
• 快速调度：协程可以快速地调度（避开了系统调用和切换），快速的切换；
• 超高并发：有限的线程就可以并发很多的协程；

协程的本质

首先可以使用go 函数名()来启动一个协程。在go语言中，协程的本质是一个名为g的结构体，由于该结构体内部成员非常多，我们抓取几个重要的变量来进行说明，具体如下：

首先最左侧的就是协程的结构体，本文主要关注其中4个结构体变量，第一个变量是一个stack结构体，该结构体中有两个指针，分别指目前栈中数据的高位指针hi和低位指针lo；

第二个变量是sched结构体，其中有一个gobuf结构体，gobuf中存有该协程的目前的运行状态，如sp即是栈指针，指向压栈的某一条数据，其实就是目前运行中的某个函数，初次以外pc即是程序计数器，其中存放的是目前运行到了哪一行代码。

第三个变量atomicstatus，存放的是协程的状态；第四个变量goid，存放的是改协程的id。

协程如何在线程中执行

我们知道协程是用线程去执行的，所以我们观察一下线程的底层，了解线程和协程的关联，在go中线程本质上是一个名为m的结构体，我们同样也只是关注其中几个相关的变量。

在go中每个线程都是循环执行一系列工作，又称作单线程循环如下图所示：左侧为栈，右侧位线程执行的函数顺序，其中的业务方法就是协程方法。

普通协程栈只能记录业务方法的业务信息，且当线程没有获得协程之前是没有普通协程栈的。所以在内存中开辟了一个g0栈，专门用于记录函数调用跳转的信息。下表是执行环境

以上就成功地在线程上执行了协程，但目前在实际使用中，其实是一种多线程循环，如下图所示：

但这种多线程获取一个协程的过程中将会存在并发问题，所以在该过程中需要锁的存在。这种线程循环非常像线程池，操作系统并不知道协程的存在，二是执行一个调度循环来顺序执行协程。

但是这里我们学习的线程循环使得协程只能顺序执行，意思就是在系统中的线程数目确定的情况下，使用这种线程循环只能同时执行与系统中线程数目相等的协程，在某种意义上这其实还是一种顺序执行。且在多线程循环中，线程为了执行协程任务需要从队列中获取协程信息，在这个过程中需要抢锁，这同样也会导致一些问题。

G-M-P调度模型

这部分我们主要解决上文中我们提及多线程循环存在的问题，当多个线程来全局获取协程任务时，往往需要抢锁，这就使得可能会出现锁冲突，如下图所示：

解决方法就其本质就是减少线程在全局环境中尽量减少抢锁的操作，转而在本地无锁的执行协程任务。这种思想的专业术语称为本地队列，就是让线程在抢锁之后一次性抓取多个协程执行，将这些抓取到的协程链接为本地队列，当抓取的所有协程全部执行结束后，才会去全局抢锁，这样就避免了一部分的抢锁操作。

接下来介绍的G-M-P调度模型就是go中用于解决锁冲突的具体调度模型，其中的中的G指的是协程结构体g，M指的是线程结构体m，P指的是也是一个结构体，其实就是一个本地队列。这个结构体的成员非常复杂，我们主要看和调度模型相关的一部分成员。

接下来我们总结一下P的作用：

• M和G之间的中介，我们可以理解为送料器
• P持有一些G，使得每次获取G的时候不用从全局找
• 大大减少了并发冲突的情况

注意：

1. 如果某个线程的本地队列和全局队列中的都没有协程可以执行的情况下，此时该线程就会去其他线程“窃取”协程，从而增大线程的利用率。
2. 如果新建协程，系统将会随机寻找一个本地队列，将新建协程置于P的runnext进行插队（在go中认为新建协程的优先级高），如果本地队列都满了，就会将这个新建协程放在全局队列中。

协程并发

我们在前文中将线程循环的抢锁问题使用调度模型解决了，剩下一个关于如何让协程并发的问题，这个问题乍一看我们很容易觉得没有什么问题，但实际上这将会造成协程饥饿问题。这个问题指的是在线程正在执行的某一个协程所需时间过多，使得在队列中的某些时间敏感的协程执行失败。

基本的解决思路是当协程执行一段时间后将当前任务暂定，执行后续协程任务，防止时间敏感携程执行失败。如下图所示：

当目前线程中执行的协程是一个超长时间的任务，此时先保存该协程的运行状态也就是保护现场，若是后续还需继续执行就将其放入本地队列中去，所示不需要执行就将其处于休眠状态，然后直接跳转到schedule函数中。

这样就让本地队列成了一个小循环，但是如果目前系统中的线程的本地队列中都拥有一个超大的协程任务，那么所有的线程都将在一段时间内处于忙碌状态，全局队列中的任务将会长期无法运行，这个问题又称为全局队列饥饿问题，解决方式就是在本地队列循环时，以一定的概率从全局队列中取出某个任务，让它也参与到本地循环当中去。

这样似乎就很完美了，但是实际上当协程正在运行状态时，我们很难将协程的任务打断，解决方案如下：

1. 主动挂取：gopark方法，当业务调用这个方法线程就会直接回到schedule函数并切换协程栈，当前运行的协程将会处于等待状态，等待状态的协程是无法立即进入任务队列中的。程序员无法主动调用gopark函数，但是我们可以通过Sleep等具有gopark的函数来进行主动挂取，Sleep五秒之后系统将会把任务的等待状态更改为运行状态放入队列中。
2. 系统调用完成时：go程序在运行状态中进行了系统调用，那么当系统的底层调用完成后就会调用exitsyscall函数，线程就会停止执行当前协程，将当前协程放入队列中去。
3. 标记抢占morestack()：当函数跳转时都会调用这个方法，它的本意在于检查当前协程栈空间是否有足够内存，如果不够就要扩大该栈空间。当系统监控到协程运行超过10ms，就将g.stackguard0置为0xfffffade（该值是一个抢占标志），让程序在只执行morestack函数时顺便判断一下是否将g中的stackguard置为抢占，如果的确被标记抢占，就回到schedule方法，并将当前协程放回队列中。

基于信号的抢占式调度

当程序在执行过程中既无法主动挂起，越不能进行系统调用，且无法进行函数调用时，也就是说以上关于协程并发的解决方法都行不通时，我们该怎么办？所以提出了基于信号的抢占式调度。这里的信号其实就是线程信号，在操作系统中有很多基于信号的底层通信方式，而我们的线程可以注册对应信号的处理函数。

基本的思路：

• 注册SIGURG信号（该信号其他地方用的很少）的处理函数
• GC工作时（GC工作意味着某些线程停了），向目标线程发送信号
• 线程收到信号，触发调度。

当GC放信号之后，当前正在处理协程任务的线程将会执行doSigPreempt函数，将当前协程放回队列，重新调用schedule函数。