高并发IO的底层原理

读书笔记 Netty Redis Zookeeper高并发实战

文章目录

  • 1.读写的基础原理
  • 2. 四种主要的IO模型
    • 2.1 同步与异步
    • 2.2 阻塞和非阻塞
    • 2.3 同步阻塞IO(Blocking IO)
    • 2.4 同步非阻塞IO(Non-blocking IO)
    • 例子:
    • 2.5 IO多路复用(IO Multiplexing)
      • 例子
    • 2.6 异步IO(Asynchronous IO)
  • 3. NIO和OIO的对比
  • 4. 带着大家一起看书

1.读写的基础原理

用户程序进行IO的读写,依赖于底层的IO读写,基本上会用到底层的read&write两大系统调用。

read,write系统调用,也不是直接把数据写入读取到物理设备。
上层应用无论是调用操作系统的read,还是调用操作系统的write,都会涉及缓冲区。
调用操作系统的read,是把数据从内核缓冲区复制到进程缓冲区;
write系统调用,是把数据从进程缓冲区复制到内核缓冲区。

为什么要有缓存区:

减少频繁地与设备之间的物理交换。大家都知道,外部设备的直接读写,涉及操作系统的中断。发生系统中断时,需要保存之前的进程数据和状态等信息,而结束中断之后,还需要恢复之前的进程数据和状态等信息。为了减少这种底层系统的时间损耗、性能损耗,于是出现了内存缓冲区。
高并发IO的底层原理_第1张图片

2. 四种主要的IO模型

首先来了解:
同步指发送端(客户端)是否等待回应再进行下一步操作,阻塞指接收端(服务器)是否完成io任务后再进行回应.

2.1 同步与异步

  • 同步: 同步就是发起一个调用后,被调用者未处理完请求之前,调用不返回。当前等待返回;
  • 异步: 异步就是发起一个调用后,立刻得到被调用者的回应表示已接收到请求,但是被调用者并没有返回结果,此时我们可以处理其他的请求,被调用者通常依靠事件,回调等机制来通知调用者其返回结果。

同步和异步的区别最大在于异步的话调用者不需要等待处理结果,被调用者会通过回调等机制来通知调用者其返回结果。

2.2 阻塞和非阻塞

  • 阻塞: 阻塞就是发起一个请求,调用者一直等待请求结果返回,也就是当前线程会被挂起,无法从事其他任务,只有当条件就绪才能继续。
  • 非阻塞: 非阻塞就是发起一个请求,调用者不用一直等着结果返回,可以先去干其他事情。

非阻塞:
高并发IO的底层原理_第2张图片

阻塞
高并发IO的底层原理_第3张图片

2.3 同步阻塞IO(Blocking IO)

阻塞IO,指的是需要内核IO操作彻底完成后,才返回到用户空间执行用户的操作。阻塞指的是用户空间程序的执行状态。传统的IO模型都是同步阻塞IO。

在Java中,默认创建的socket都是阻塞的。

特点:在内核进行IO执行的两个阶段,用户线程都被阻塞了。

优点:应用的程序开发非常简单;在阻塞等待数据期间,用户线程挂起。在阻塞期间,用户线程基本不会占用CPU资源。

缺点:一般情况下,会为每个连接配备一个独立的线程;
反过来说,就是一个线程维护一个连接的IO操作。在并发量小的情况下,这样做没有什么问题。但是,当在高并发的应用场景下,需要大量的线程来维护大量的网络连接,内存、线程切换开销会非常巨大。因此,基本上阻塞IO模型在高并发应用场景下是不可用的。
高并发IO的底层原理_第4张图片

2.4 同步非阻塞IO(Non-blocking IO)

非阻塞IO,指的是用户空间的程序不需要等待内核IO操作彻底完成,可以立即返回用户空间执行用户的操作,即处于非阻塞的状态,与此同时内核会立即返回给用户一个状态值。

强调一下,这里所说的NIO(同步非阻塞IO)模型,并非Java的NIO(New IO)库。
而是另外的一种模型,叫作IO多路复用模型(IOMultiplexing)。

阻塞是指用户空间(调用线程)一直在等待,而不能干别的事情;非阻塞是指用户空间(调用线程)拿到内核返回的状态值就返回自己的空间,IO操作可以干就干,不可以干,就去干别的事情。

特点:应用程序的线程需要不断地进行IO系统调用,轮询数据是否已经准备好,如果没有准备好,就继续轮询,直到完成IO系统调用为止。

优点:每次发起的IO系统调用,在内核等待数据过程中可以立即返回。用户线程不会阻塞,实时性较好。

缺点:不断地轮询内核,这将占用大量的CPU时间,效率低下。类似于自旋
高并发IO的底层原理_第5张图片

例子:

(1)在内核数据没有准备好的阶段,用户线程发起IO请求时,立即返回。所以,为了读取到最终的数据,用户线程需要不断地发起IO系统调用。
(2)内核数据到达后,用户线程发起系统调用,用户线程阻塞。内核开始复制数据,它会将数据从内核缓冲区复制到用户缓冲区(用户空间的内存),然后内核返回结果(例如返回复制到的用户缓冲区的字节数)。
(3)用户线程读到数据后,才会解除阻塞状态,重新运行起来。也就是说,用户进程需要经过多次的尝试,才能保证最终真正读到数据,而后继续执行。

2.5 IO多路复用(IO Multiplexing)

Netty 采用这种模型
即经典的Reactor反应器设计模式,有时也称为异步阻塞IO, Java中的Selector选择器和Linux中的epoll都是这种模型。

内核将数据从网络物理设备(网卡)读取到内核缓冲区、将内核缓冲区的数据复制到用户缓冲区,用户程序都不需要阻塞。

在IO多路复用模型中,引入了一种新的系统调用,查询IO的就绪状态。在Linux系统中,对应的系统调用为select/epoll系统调用。通过该系统调用,一个进程可以监视多个文件描述符,一旦某个描述符就绪(一般是内核缓冲区可读/可写),内核能够将就绪的状态返回给应用程序。随后,应用程序根据就绪的状态,进行相应的IO系统调用。

目前支持IO多路复用的系统调用,有select、epoll等等。select系统调用,几乎在所有的操作系统上都有支持,具有良好的跨平台特性。epoll是在Linux 2.6内核中提出的,是select系统调用的Linux增强版本。
用一个额外的线程去访问内核,得到能够就绪的状态;
高并发IO的底层原理_第6张图片
特点:IO多路复用模型的IO涉及两种系统调用(System Call),另一种是select/epoll(就绪查询),一种是IO操作。IO多路复用模型建立在操作系统的基础设施之上,即操作系统的内核必须能够提供多路分离的系统调用select/epoll。

和NIO模型相似,多路复用IO也需要轮询。负责select/epoll状态查询调用的线程,需要不断地进行select/epoll轮询,查找出达到IO操作就绪的socket连接。

优点:与一个线程维护一个连接的阻塞IO模式相比,使用select/epoll的最大优势在于,一个选择器查询线程可以同时处理成千上万个连接(Connection)。系统不必创建大量的线程,也不必维护这些线程,从而大大减小了系统的开销。

Java语言的NIO(New IO)技术,使用的就是IO多路复用模型。在Linux系统上,使用的是epoll系统调用。

缺点:本质上,select/epoll系统调用是阻塞式的,属于同步IO。都需要在读写事件就绪后,由系统调用本身负责进行读写,也就是说这个读写过程是阻塞的。

如何彻底地解除线程的阻塞,就必须使用异步IO模型。

例子

(1)选择器注册。首先,将需要read操作的目标socket网络连接,提前注册到select/epoll选择器中,Java中对应的选择器类是Selector类。然后,才可以开启整个IO多路复用模型的轮询流程。

(2)就绪状态的轮询。通过选择器的查询方法,查询注册过的所有socket连接的就绪状态。通过查询的系统调用,内核会返回一个就绪的socket列表。当任何一个注册过的socket中的数据准备好了,内核缓冲区有数据(就绪)了,内核就将该socket加入到就绪的列表中。
当用户进程调用了select查询方法,那么整个线程会被阻塞掉。
(3)用户线程获得了就绪状态的列表后,根据其中的socket连接,发起read系统调用,用户线程阻塞。内核开始复制数据,将数据从内核缓冲区复制到用户缓冲区。

(4)复制完成后,内核返回结果,用户线程才会解除阻塞的状态,用户线程读取到了数据,继续执行。

2.6 异步IO(Asynchronous IO)

异步IO,指的是用户空间与内核空间的调用方式反过来。用户空间的线程变成被动接受者,而内核空间成了主动调用者。这有点类似于Java中比较典型的回调模式,用户空间的线程向内核空间注册了各种IO事件的回调函数,由内核去主动调用。

高并发IO的底层原理_第7张图片
特点:在内核等待数据和复制数据的两个阶段,用户线程都不是阻塞的。用户线程需要接收内核的IO操作完成的事件,或者用户线程需要注册一个IO操作完成的回调函数。正因为如此,异步IO有的时候也被称为信号驱动IO。

缺点:应用程序仅需要进行事件的注册与接收,其余的工作都留给了操作系统,也就是说,需要底层内核提供支持。

3. NIO和OIO的对比

(1)OIO是面向流(Stream Oriented)的,NIO是面向缓冲区(Buffer Oriented)的。
(2)OIO的操作是阻塞的,而NIO的操作是非阻塞的。
(3)OIO没有选择器(Selector)概念,而NIO有选择器的概念。

4. 带着大家一起看书

高并发IO的底层原理_第8张图片
高并发IO的底层原理_第9张图片
在这里插入图片描述

高并发IO的底层原理_第10张图片

你可能感兴趣的