MongoDB MapReduce 如何优化？-JavaScript中文网-JavaScript教程资源分享门户

在 MongoDB 中，MapReduce 是一种用于处理大型数据集的强大工具。他是一种分布式算法，能让 MongoDB 在大规模数据处理时表现出色。同时这种方案也存在优化性能的问题，为了让我们合理的使用 MapReduce，更好地发挥其优势，来看看 MongoDB MapReduce 如何进行优化。

什么是 MapReduce

MapReduce 是一种大规模数据处理算法，将输入数据集合分成若干个小的块，对每个块进行 Map 操作，将结果汇总，再进行 Reduce 操作，得到最终结果。

在 MongoDB 中，MapReduce 是一种聚合操作（Aggregation），它将集合的所有文档作为输入，并输出一个或多个文档结果集，通常用来对大量数据进行实时查询和结果聚合。对于大规模数据处理如日志分析、数据挖掘领域尤其有用。

MapReduce 阶段优化

MapReduce 的第一个阶段是 Map，Map 的目的是将输入数据集映射成中间值集合，输入数据集是 key-value 的键值对结构，输出的是一个中间值集合。

MapReduce 的 Map 阶段通常占用了操作时间的 90% ，优化这个阶段可以有效的提高整个 MapReduce 的性能。

减少 Map 复杂度

MapReduce 的 Map 阶段利用 Map 函数将输入的数据集分解成几个独立的部分，每个部分映射为一组键和值的组合。Map 阶段的输出结果往往被存储在原来键所对应的集合中，这就要求 Map 函数尽可能地减少输出文档的数量，因为每次存储都需要一次磁盘 I/O，而这个操作是比较耗费时间的。

利用索引优化 Map

Map 阶段的另一个优化点是利用索引来提高性能表现。MongoDB 中支持在 Map 函数中使用索引，例如将记录 ID 作为键来聚合文档。这样就可以选择某些索引，使得 Map 函数的输入数据能够更快的定位到每个需要处理的文档。

压缩 Map 阶段的输出

为了提高执行速度，在输出 Map 函数时，可以尝试压缩输出结果。使用压缩后的格式会带来额外的数据量，但是通常对性能增益的影响比预期的大。

MapReduce 阶段的数据传输优化

MapReduce 的第二个阶段是 Reduce，Reduce 的目的是将中间值集合转化为最终的输出结果。Reduce 阶段通常占用操作时间的 10% 左右。

在 Reduce 阶段，我们可以优化数据传输，尽量减少网络 I/O，具体方案如下：

关闭 MongoDB 数据传输压缩

MongoDB 会默认的对 MapReduce 结果进行数据压缩传输。虽然压缩可以减少网络传输的时间，但是增加了 CPU 使用率。关闭压缩后可以降低 CPU 负载，提高性能。

增加 Reduce 并行度

Reduce 的实现通常是串行的，由于 MapReduce 的 Reduce 阶段仅占用整个过程 10% 的时间，因此可以通过增加 Reduce 的并行度来提高性能表现。例如，在分布式集群中可以将聚合结果分为多个批次，每个批次有自己的 Reduce 函数计算生成，最后将所有结果进行合并后输出最终结果。

增加 MapReduce 的并行度

在 MongoDB 中，MapReduce 支持单机或者分布式部署。对于大规模的 MapReduce 计算任务，可以考虑采用分布式并行计算的方式提高处理性能。通过增加 Map 的并行度也可以提高整个 MapReduce 过程的处理速度。

示例代码

Map 阶段优化示例代码

// javascriptcn.com 代码示例
db.logs.mapReduce(
  function() {
    var fields = this.log.split(" ");
    emit(fields[2], 1);
  },
  function(key, values) {
    return Array.sum(values);
  },
  {
    out : {inline: true},
    finalize: function(key, value) {
      return {
        ip: key, 
        total_logs: value
      };
    }
  }
);

MapReduce 阶段的数据传输优化示例代码

// javascriptcn.com 代码示例
db.runCommand({
  mapreduce : "logs",
  map : function() {
    var fields = this.log.split(" ");
    emit(fields[2], 1);
  },
  reduce : function(key, values) {
    return Array.sum(values);
  },
  out : "totals",
  query : {date : {$gt : "2016-01-01"}},
  scope : {
    force_server_id : true
  },
  sort : {page_id : 1},
  limit : 500,
  jsMode : true,
  serialize : false,
  verbose : true
});

总结

MapReduce 的优化可以提高 MongoDB 大数据处理效率，但是过度的优化也会带来一些不必要的性能消耗。希望这篇文章可以为大家带来 MapReduce 的优化思路和实践经验，让大家能够更加高效的使用 MongoDB，发挥其在大规模数据处理上的优势。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/653919df7d4982a6eb257b46