Hadoop YARN(Yet Another Resource Negotiator)采用了经典的主从(Master/Slave)架构。 在 YARN 的设计中,它将早期的 Hadoop 1.x 中 JobTracker 的两大核心功能——资源管理和作业调度/监控进行了拆分,交由不同的组件来处理。 具体来说,YARN 的主从架构由以下几个核心组件构成: 一、 主节点(Master):ResourceManager (RM) ResourceManager 是整个 YARN 集群的“大脑”,也是主从架构中的 Master。它通常运行在一个独立的节点上,负责整个集群计算资源的统一管理和分配。 ResourceManager 内部包含两个核心子组件: 1. 调度器(Scheduler): 职责: 根据容量、队列等限制条件,将系统中的资源分配给各个正在运行的应用程序。 特点: 它是一个“纯粹”的调度器。它不从事任何与具体应用程序相关的工作(比如不负责监控应用程序状态,不负责重启失败的任务),只负责将资源(内存、CPU)以 Container(容器) 的形式分配出去。 2. 应用程序管理...