HDFS HA(High Availability,高可用)架构是 Hadoop 2.x 版本引入的一种集群架构设计,旨在保证 HDFS 分布式文件系统在面临硬件故障或软件升级时,依然能够持续对外提供服务。 要深入理解 HA 架构,我们首先需要知道它解决了什么痛点。 --- 一、 HDFS HA 主要解决的痛点是什么? HDFS HA 提出的根本原因是解决早期 Hadoop 1.x 版本中 HDFS 的单点故障(SPOF, Single Point of Failure)问题。 在 Hadoop 1.x 时代,HDFS 集群中只有一个 NameNode(名称节点): 1. NameNode 的核心地位:NameNode 掌握着整个文件系统的元数据(目录树、文件属性、文件到数据块的映射等)。客户端所有的读写请求都必须先经过 NameNode。 2. 致命的单点故障:如果这台唯一的 NameNode 机器发生硬件损坏、系统崩溃或断电,整个 HDFS 集群将瞬间瘫痪,无法进行任何读写操作。 3. 恢复时间漫长:虽然 Hadoop 1.x 提供了 Secondary NameNode (...