Hadoop YARN(Yet Another Resource Negotiator)是 Hadoop 2.0 引入的核心组件,被称为“大数据的操作系统”。它的主要作用是将“资源管理”和“任务调度”分离开来,使得同一个集群可以同时运行 MapReduce、Spark、Flink 等多种计算框架。 为了让你通俗易懂地理解,我们将从整体架构组件和基本运行机制(工作流程)两个方面来详细讲解,并辅以一个“公司项目外包”的通俗比喻。 --- 一、 YARN 的整体架构图及核心组件 YARN 采用的是经典的 Master/Slave(主从)架构。 (你可以按这个结构在脑海中构建一张图:最上面是 Client(客户端),中间是全局唯一的 Master(ResourceManager),下面是分布在各个机器上的 Slave(NodeManager),而每个应用程序都有自己的项目经理(ApplicationMaster)) 1. 核心组件详解 ResourceManager (RM - 资源管理器) 角色定位:集群的“大总管”(Master),全局唯一(生产环境中会有高可用 HA 备用节点)。 ...