播面

HDFS（Hadoop Distributed File System）的副本机制是其保证数据高可靠性、容错性以及高可用性的核心设计。

关于你的问题，核心结论如下：
HDFS的默认副本数是 3。
（该参数可以通过 hdfs-site.xml 配置文件中的 dfs.replication 属性进行修改）。

下面详细为你解析 HDFS 中的副本机制是如何运作的：

1. 副本存放策略（机架感知 Rack Awareness）

HDFS 决定将这 3 个副本存放在哪里，并不是随机的，而是基于一种称为“机架感知”（Rack Awareness）的策略。这样既能保证数据的安全性，又能尽量减少跨机架的网络带宽消耗。

对于默认的 3 个副本，存放策略如下：

• 第一个副本（Replica 1）：
  • 如果客户端（Client）本身就在集群的一个 DataNode 上，那么第一个副本就会直接存放在本地节点上（减少网络传输）。
  • 如果客户端在集群外部，NameNode 会从集群中随机选择一个负载不高、空间充裕的 DataNode 来存放。
• 第二个副本（Replica 2）：
  • 存放在与第一个副本不同机架（Rack）的任意一个 DataNode 上。
  • 目的： 防止第一个机架发生断电或交换机故障导致数据完全丢失（提供机架级别的容错）。
• 第三个副本（Replica 3）：
  • 存放在与第二个副本相同机架，但是不同节点（Node）的 DataNode 上。
  • 目的： 既保证了有两份数据在不同节点（节点级容错），又因为与第二个副本在同一个机架内，写入时不需要跨机架传输，节省了昂贵的跨机架网络带宽。
• 更多副本（如果设置 > 3）：
  • 随机放置在集群的其他节点上，但会尽量避免同一个机架上存放过多的副本。

2. 副本的写入过程（流水线机制 Pipeline）

HDFS 在写入多副本时，采用的是数据流水线（Pipeline）机制，而不是由客户端分别向三个节点发送数据：

1. 客户端向 NameNode 申请写入，NameNode 返回 3 个 DataNode 的列表（如 A, B, C）。
2. 客户端将数据块（Block）分成更小的包（Packet），发送给节点 A。
3. 节点 A 收到数据后，一边将数据写入本地磁盘，一边将数据通过网络转发给节点 B。
4. 节点 B 收到后，同样一边写入本地，一边转发给节点 C。
5. 写入完成后，确认信号（ACK）反向传递：C -> B -> A -> 客户端。
   这种机制极大地减轻了客户端的网络压力，并提高了写入效率。

3. 副本的读取过程（就近读取策略）

当客户端需要读取数据时，NameNode 会返回拥有该数据块的所有 DataNode 列表。
为了提高读取速度并节省带宽，HDFS 采用“就近原则”（Distance-based），NameNode 会根据网络拓扑距离对 DataNode 进行排序：

1. 同节点（如果客户端本身也是DataNode且有该数据）
2. 同机架不同节点
3. 同数据中心不同机架
4. 不同数据中心
   客户端会优先从排在最前面的（距离最近的）副本节点读取数据。如果读取失败，再尝试下一个节点。

4. 副本的自愈与状态管理（容错机制）

NameNode 是整个副本机制的“大脑”，它通过接收 DataNode 的心跳（Heartbeat）和块汇报（Block Report）来监控副本状态：

• 副本丢失（Under-replicated）： 如果某个 DataNode 宕机（长时间未发送心跳）或磁盘损坏，NameNode 会发现某些数据块的副本数不足 3 个。NameNode 会自动指令其他健康的 DataNode 复制该数据块，直到副本数恢复到设定的 3 个。
• 副本冗余（Over-replicated）： 如果宕机的节点后来又恢复并重新连接了，NameNode 可能会发现某些数据块的副本数变成了 4 个（超过了设置的 3 个）。此时，NameNode 会随机挑选并删除多余的副本，以节省存储空间。

总结

HDFS 的副本机制（默认 3 副本 + 机架感知 + 流水线读写 + 自动恢复）是一个非常经典的分布式系统设计，它完美地平衡了数据安全性（防止节点/机架单点故障）和系统性能（网络带宽利用率与读写速度）。