MapReduce 中 Combiner 的作用是什么？

推荐答案

Combiner 是 MapReduce 中的一个优化组件，它在 Map 阶段之后、Reduce 阶段之前运行。Combiner 的作用是对 Map 输出的中间结果进行局部聚合，减少数据传输量，从而提升整体作业的性能。

本题详细解读

Combiner 的作用

1. 减少数据传输量：Combiner 在 Map 任务完成后，对 Map 输出的键值对进行局部聚合。这样，传输到 Reduce 任务的数据量会显著减少，从而降低网络传输开销。
2. 提升性能：通过减少数据传输量，Combiner 可以显著提升 MapReduce 作业的执行效率，尤其是在数据量非常大的情况下。
3. 局部聚合：Combiner 本质上是一个局部的 Reduce 操作，它会对相同键的值进行合并或聚合，但不会影响最终的 Reduce 结果。

Combiner 的使用场景

• 可交换和可结合的操作：Combiner 适用于那些可交换（commutative）和可结合（associative）的操作，例如求和、计数、最大值、最小值等。
• 数据倾斜问题：当某些键的值特别多时，Combiner 可以有效减少这些键的数据量，避免数据倾斜问题。

Combiner 的局限性

• 不适用于所有操作：Combiner 不能用于所有类型的操作，例如求平均值时，Combiner 可能会导致错误的结果，因为局部平均值和全局平均值可能不一致。
• 不保证执行：Combiner 的执行是由 Hadoop 框架决定的，不能保证每次 Map 输出后都会执行 Combiner。

示例

假设有一个简单的 WordCount 任务，Map 输出为 <word, 1> 的键值对。如果没有 Combiner，Map 输出的数据量会非常大。使用 Combiner 后，可以在 Map 端对相同单词的计数进行局部聚合，例如将 <word, [1, 1, 1]> 聚合为 <word, 3>，从而减少传输到 Reduce 任务的数据量。

代码示例

-- -------------------- ---- -------
------ ----- ----------------- ------- ------------- ------------ ----- ------------ -
    ---------
    --------- ---- ----------- ---- --------------------- ------- ------- -------- ------ ------------ -------------------- -
        --- --- - --
        --- ------------ ----- - ------- -
            --- -- ------------
        -
        ------------------ --- ------------------
    -
-

在这个示例中，Combiner 对相同单词的计数进行局部求和，减少了传输到 Reduce 任务的数据量。