在 YARN 模式下，Spark 的 Client 模式和 Cluster 模式有什么区别？

Question

Accepted Answer

在 Spark On YARN 模式下，Client 模式和 Cluster 模式最核心的区别在于 Driver 程序运行的位置。 这一区别导致了它们在网络通信、日志查看、程序稳定性以及适用场景上的显著不同。 以下是详细的对比分析： 1. 核心区别：Driver 运行位置 Client 模式 (YARN-Client): Driver 运行在提交任务的客户端机器上（即你敲 命令的那台机器，通常称为 Edge Node 或 Gateway）。 Cluster 中的 ApplicationMaster (AM) 仅负责向 YARN ResourceManager 申请资源，不运行 Driver 代码。 Cluster 模式 (YARN-Cluster): Driver 运行在 YARN 集群内部的某个节点上。 具体来说，Driver 程序运行在 ApplicationMaster (AM) 的 Container 内部。客户端提交完任务后，Driver 就与客户端脱离了关系。 --- 2. 详细对比维度 A. 客户端依赖与生命周期 (Lifecycle) Client 模式: 客户端...