RDD 的 `union` 操作有什么作用？

推荐答案

RDD 的 union 操作用于将两个或多个 RDD 合并为一个新的 RDD。合并后的 RDD 包含所有输入 RDD 中的元素，且不会去重。union 操作是惰性的，只有在触发行动操作时才会真正执行。

本题详细解读

1. union 操作的基本概念

union 是 Spark RDD 提供的一个转换操作（Transformation），用于将两个或多个 RDD 合并为一个新的 RDD。合并后的 RDD 包含所有输入 RDD 中的元素，且元素的顺序和分区方式与输入 RDD 一致。

2. union 操作的语法

def union(other: RDD[T]): RDD[T]

• other: 另一个 RDD，与当前 RDD 进行合并。
• 返回值：一个新的 RDD，包含当前 RDD 和 other RDD 中的所有元素。

3. union 操作的特点

• 惰性操作：union 是一个转换操作，只有在触发行动操作（如 collect、count 等）时才会真正执行。
• 不去重：union 操作不会对元素进行去重，所有输入 RDD 中的元素都会保留在结果 RDD 中。
• 保留分区：合并后的 RDD 的分区数与输入 RDD 的分区数之和相同。

4. 示例代码

val rdd1 = sc.parallelize(Seq(1, 2, 3))
val rdd2 = sc.parallelize(Seq(3, 4, 5))
val unionRDD = rdd1.union(rdd2)

unionRDD.collect().foreach(println)

输出结果：

1
2
3
3
4
5

5. 使用场景

• 当需要将多个数据源的数据合并为一个 RDD 进行处理时，可以使用 union 操作。
• 适用于需要保留所有数据且不需要去重的场景。

6. 注意事项

• union 操作不会对数据进行去重，如果需要去重，可以在 union 后使用 distinct 操作。
• 合并后的 RDD 的分区数会增加，可能会影响性能，因此在合并后可以考虑重新分区。