播面

在 Apache Spark 中，RDD、DataFrame 和 Dataset 是三种主要的数据抽象模型。随着 Spark 版本的演进，这三者依次出现，性能和易用性也在不断提升。

简单来说：RDD 是底层核心，DataFrame 是为了 SQL 优化而生，Dataset 则是结合了 RDD 的类型安全和 DataFrame 的高性能。

以下是详细的对比分析：

1. 核心概念演进

RDD (Resilient Distributed Dataset) - Spark 1.0

• 定义：弹性分布式数据集。它是 Spark 最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。
• 本质：它是一个分布式的 Java/Scala 对象集合。Spark 并不关心对象里面是什么，只负责搬运和序列化。
• 特点：面向过程（函数式编程），偏底层。

DataFrame - Spark 1.3

• 定义：以命名列（Named Columns）方式组织的分布式数据集。
• 本质：类似于关系型数据库中的 Table 或 Python 中的 pandas.DataFrame。
• 特点：引入了 Schema（结构信息）。Spark 知道数据的列名和类型，因此可以使用 Catalyst 优化器 来优化查询计划。

Dataset - Spark 1.6

• 定义：Dataset 是 DataFrame 的扩展，提供了 RDD 的强类型功能和 DataFrame 的优化机制。
• 本质：在 Spark 2.0 中，DataFrame 被合并为 Dataset[Row]。
• 特点：强类型（Strongly Typed）。它结合了 RDD 的类型安全（编译时检查）和 DataFrame 的高性能（Catalyst 优化）。

2. 深度对比维度

A. 数据结构与表现形式

• RDD: RDD[Person]。数据是 Java/Scala 原生对象。Spark 引擎只把它当做一坨二进制数据（Blob），不知道内部字段。
• DataFrame: Dataset[Row]。数据被结构化为 Row 对象，类似于 SQL 表的一行。虽然有 Schema，但代码中操作的是通用的 Row 对象。
• Dataset: Dataset[Person]。数据映射为具体的 Case Class（如 Person 类）。你可以直接访问 person.name。

B. 类型安全 (Type Safety)

这是开发中最直观的区别：

• RDD (高): 编译时检查。
  • 代码：rdd.map(p => p.nmae) // 拼写错误
  • 结果：编译报错。因为编译器知道 p 是 Person 对象，没有 nmae 属性。
• DataFrame (低): 运行时检查。
  • 代码：df.select("nmae") // 拼写错误
  • 结果：编译通过，运行报错。编译器不知道 "nmae" 列是否存在，只有跑起来才知道。
• Dataset (高): 编译时检查。
  • 代码：ds.map(p => p.nmae)
  • 结果：编译报错。结合了 RDD 的优点。

C. 性能与优化 (Performance)

这是生产环境中最关键的区别：

• RDD (慢):
  • 序列化开销大: 使用 Java 原生序列化（或 Kryo），需要在内存中存储完整的对象头，占用空间大。
  • GC (垃圾回收) 压力大: 创建大量对象会导致 JVM 频繁 GC。
  • 无优化: Spark 无法查看函数内部逻辑（如 map/filter），只能傻瓜式执行。
• DataFrame & Dataset (快):
  • Catalyst 优化器: Spark 会解析 SQL/DSL 逻辑，生成最优的物理执行计划（比如自动谓词下推、列剪枝）。
  • Tungsten 引擎: 使用堆外内存（Off-heap）管理数据，数据以二进制格式紧凑存储，避免了 Java 对象的开销和 GC 压力。
  • Dataset 的微小损耗: Dataset 在某些操作（如 map）需要将二进制格式反序列化为对象（Encoder），比纯 DataFrame 稍微慢一点点，但仍远快于 RDD。

3. 代码风格对比

假设我们有一个 JSON 数据，包含 id 和 age。

RDD 写法 (繁琐，手动解析):

case class Person(id: Int, age: Int)
val rdd = sc.textFile("people.json").map(line => parseJson(line)) // 需要手动解析
rdd.filter(p => p.age > 20).map(p => p.id)

DataFrame 写法 (SQL 风格，弱类型):

val df = spark.read.json("people.json")
df.filter("age > 20").select("id") 
// 或者
df.filter($"age" > 20).select($"id")
// 注意：如果写成 select("ids")，编译时不报错，运行时才挂

Dataset 写法 (对象风格，强类型):

val ds = spark.read.json("people.json").as[Person] // 绑定 Schema
ds.filter(p => p.age > 20).map(p => p.id)
// 注意：如果写成 p.ages，编译器直接报错

4. 总结表

5. 什么时候用哪个？

1. 首选 Dataset / DataFrame:

   • 如果你使用 Scala/Java，首选 Dataset（兼顾类型安全和性能）。
   • 如果你使用 Python (PySpark)，首选 DataFrame。
     • 注意：Python 是动态语言，没有强类型 Dataset 的概念，PySpark 中 Dataset API 其实就是 DataFrame。
   • 当你需要处理结构化或半结构化数据（JSON, Parquet, CSV, Database）时。
   • 当你需要高性能聚合、排序、过滤时。

2. 什么时候回退到 RDD?:

   • 当你的数据完全非结构化（如流媒体、复杂的文本日志），无法定义 Schema 时。
   • 当你需要进行非常底层的转换操作，而这些操作在 DataFrame API 中很难表达时。
   • 当你要操作的数据主要是为了调用第三方的 Java/Scala 库，且该库只接受普通对象时。

一句话总结：在 Spark 2.x/3.x 时代，默认使用 DataFrame/Dataset，除非你真的有特殊需求才去用 RDD。