基于本文回答

播面 播面

刷题像听歌，多听自然懂
0
评论
请从左侧选择一个分类

Nginx 是如何解决惊群效应的？

惊群效应（Thundering Herd Problem）是指当多个进程或线程在等待同一个事件时，如果该事件发生，所有的进程/线程都会被内核唤醒，但最终只有一个进程/线程能够成功处理该事件，其余的则会因为获取失败而重新进入休眠状态。这种频繁的唤醒和休眠会导致大量的上下文切换，极大地消耗 CPU 资源。

在 Nginx 的多进程（Master-Worker）架构中，默认情况下所有的 Worker 进程都会监听同一个端口（如 80 或 443）。当一个新连接到来时，如果不加以控制，所有阻塞在 epoll_wait 的 Worker 进程都会被唤醒，从而产生惊群效应。

Nginx 对惊群效应的解决经历了一个从应用层控制到依赖操作系统内核特性的演进过程。具体来说，Nginx 通过以下三种阶段/方式来解决这个问题：

1. 经典解决方案：应用层互斥锁 accept_mutex

在早期的 Linux 内核中，epoll 本身无法解决惊群效应。Nginx 在应用层实现了一个跨进程的互斥锁（基于共享内存和 CAS 原子操作实现），名为 accept_mutex。

工作原理：

  • 争抢锁：在 Worker 进程进入 epoll_wait 之前，会尝试去获取 accept_mutex 锁。
  • 拿到锁的进程：如果成功获取锁，该 Worker 进程就会将监听套接字（Listen Socket）加入到自己的 epoll 实例中，然后调用 epoll_wait。这意味着只有这一个 Worker 进程会监听新连接的到来。
  • 未拿到锁的进程：如果没有获取到锁，该 Worker 进程会将监听套接字从自己的 epoll 实例中移除（如果之前在的话），它只监听已经建立的连接的读写事件。
  • 释放锁：拿到锁的 Worker 进程在处理完新连接事件后，会迅速释放 accept_mutex 锁，以便下一次循环时其他进程可以争抢。

附加的好处（负载均衡）：
Nginx 在争抢 accept_mutex 时还加入了一个简单的负载均衡机制。如果当前 Worker 进程的活跃连接数已经超过了其最大连接数的 7/8，它就会主动放弃争抢 accept_mutex 锁。这保证了新连接会均匀地分配到各个 Worker 进程中。

2. 内核特性的进步：EPOLLEXCLUSIVE 标志

随着 Linux 内核的不断升级，内核开发者也意识到了 epoll 的惊群问题。

在 Linux 4.5 版本中，内核引入了 EPOLLEXCLUSIVE 标志。当多个进程将同一个文件描述符（如监听 Socket）加入 epoll 并带有 EPOLLEXCLUSIVE 标志时，如果该 Socket 有事件发生，内核只会唤醒其中一个（或少数几个）等待的进程，而不是唤醒全部。

Nginx 的适配：

  • 从 Nginx 1.11.3 版本开始，如果操作系统支持 EPOLLEXCLUSIVE，Nginx 会默认使用这个内核特性来解决惊群效应。
  • 正因为内核层面已经完美解决了这个问题，Nginx 1.11.3 起将 accept_mutex 的默认值从 on 改为了 off。因为加锁和解锁本身也有性能开销，直接交由内核处理效率更高。

3. 终极架构方案：SO_REUSEPORT (端口复用)

除了 EPOLLEXCLUSIVE，Linux 3.9 引入了另一个强大的网络特性：SO_REUSEPORT。这也是目前高性能网络服务器解决并发接收连接的最优解。

工作原理：

  • 传统模式下，Nginx 是一个 Listen Socket 被多个 Worker 共享。
  • 开启 SO_REUSEPORT 后，每个 Worker 进程都有自己独立的一个 Listen Socket，并且它们都绑定到同一个 IP 和端口上。
  • 当一个新连接的 SYN 包到达网卡时，Linux 内核会根据数据包的四元组（源IP、源端口、目的IP、目的端口）进行 Hash 计算，将这个连接直接分配给其中一个特定的 Listen Socket。

为什么这是终极方案？

  1. 彻底消除惊群：每个 Worker 进程只阻塞在自己的 Listen Socket 上，新连接到来时，内核只会唤醒对应的那个 Worker 进程，根本不存在惊群。
  2. 消除锁竞争：不再需要 accept_mutex 这种全局锁，Worker 进程之间完全解耦。
  3. 完美的 CPU 亲和性：结合 Nginx 的 worker_cpu_affinity，可以实现一个数据包从网卡中断、内核处理到 Nginx Worker 消费，都在同一个 CPU 核心上完成，极大地提高了 CPU 缓存的命中率。

Nginx 的适配：
在 Nginx 配置中，只需在 listen 指令后加上 reuseport 参数即可开启：

plaintext 
server {
    listen 80 reuseport; # 开启端口复用
    server_name localhost;
    ...
}

总结

Nginx 解决惊群效应的方法是随着操作系统能力的提升而演进的：

  1. 早期（无内核支持）：通过应用层锁 accept_mutex 保证同一时刻只有一个 Worker 监听新连接。（Nginx 1.11.3 之前默认开启）。
  2. 中期（内核 epoll 升级）：利用 Linux 4.5+ 的 EPOLLEXCLUSIVE 特性，让内核去决定唤醒哪一个进程。（Nginx 1.11.3 之后默认采用此方式，accept_mutex 默认关闭）。
  3. 现代/高性能（内核网络栈升级）：利用 Linux 3.9+ 的 SO_REUSEPORT 特性，在内核层面进行 Hash 负载均衡，每个 Worker 独立监听，彻底消除惊群和锁竞争。（需要手动在配置文件中添加 reuseport）。
00:00
00:00