HDFS(Hadoop Distributed File System)的Block(数据块)大小默认值根据Hadoop版本的不同而有所区别: Hadoop 1.x 版本:默认 Block 大小是 64 MB。 Hadoop 2.x 及 3.x 版本:默认 Block 大小是 128 MB。 (注意:这个值是可以通过配置文件 中的 参数进行修改的。) --- 为什么要这样设置?(核心设计理念) HDFS 将 Block 设置得如此之大(远大于传统 Linux 文件系统的 4KB),主要是基于硬件物理特性、HDFS的架构设计以及分布式计算的效率这三个维度的考量。具体原因如下: 1. 最小化磁盘寻道时间(核心物理原因) 在机械硬盘时代,读取数据的时间 = 寻道时间(磁头移动到对应磁道的时间) + 传输时间(读取数据的时间)。 HDFS 的设计目标是支持高吞吐量的数据流式读取。为了达到这个目的,传输数据的时间必须远远大于寻找数据块位置(寻道)的时间。 数学推导:假设一块普通机械硬盘的寻道时间约为 10 毫秒(ms),磁盘的传输速率约为 100 MB/s。为了让寻道时间仅占传输时间的 1...