如何从 MongoDB 中删除重复数据？-JavaScript中文网-JavaScript教程资源分享门户

本文将介绍如何从 MongoDB 中删除重复数据。在使用 MongoDB 时，重复数据是比较常见的问题。当然，也会影响查询速度和数据质量。解决这个问题，也就是删除 MongoDB 中的重复数据，是前端开发人员必备的技能之一。

排除重复项

在 MongoDB 中排除重复项有两种方法：聚合和 MapReduce。聚合比较简单，而 MapReduce 难度较大，需要对 MapReduce 的概念和应用有基本了解。

聚合方法

聚合是 MongoDB 非常重要的功能之一。它可以根据条件将文档组合在一起并进行统计和计算。聚合方法用来消除重复项非常简单，一行代码就可以了：

db.collection.aggregate( [ { $group: { _id: { 对象 id }, uniqueIds: { $addToSet: "$_id" }, count: { $sum: 1 } } },
                            { $match: { count: { $gt: 1 } } },
                            { $sort: { count: -1 } } ] ).forEach( function (doc) { 
                                doc.uniqueIds.shift(); 
                                db.order.remove( { _id: { $in: doc.uniqueIds } } ); 
                            })

在上面的代码中，db.collection.aggregate 执行了一行聚合命令，该命令将集合的对象 id 合并，并列出了对象 id 的数量，并按照数量降序排列。当 id 的数量大于 1 时，将通过 $addToSet 函数将唯一 id 的文档列表添加到数组中。$group、$match 和 $sort 是聚合框架中的命令。 $group 命令将对象组合在一起，并根据 id 统计文档数量。$match 命令筛选出文档数大于 1 的文档。$sort 命令按文档数量降序排列。最后通过 forEach 命令将重复的文档从集合中删除。

MapReduce 方法

MapReduce 方法在 MongoDB 中也用于集合的聚合和计算，通常被用于数据挖掘和大数据处理。MapReduce 方法需要 map 和 reduce 函数来处理数据集。

下面是使用 MapReduce 方法从 MongoDB 中删除重复数据的示例代码：

db.runCommand({
    mapReduce: "collection",
    map: function() { emit(this.fieldName, null); },
    reduce: function(key, values) { db.collection.remove({_id: key}); }
});

在上面的代码中，fieldName 是名称字段。该代码使用 mapReduce 命令和两个函数来实现。map 函数使用 emit 单词将对象名称传递给 reduce 函数。与聚合不同，这里的 reduce 函数执行删除命令以删除集合中的所有具有相同名称值的文档。

删除重复项

现在，您已经了解了如何排除 MongoDB 中的重复项（使用聚合或 MapReduce）。那么如何删除重复项呢？在本节中，我们将介绍如何删除 MongoDB 中的重复项。

手动删除

首先，您可以手动删除重复的文档。该方法适用于您处理的数据量非常小 (<100) 的情况。使用以下代码：

db.collection.remove({_id: <id>})

在上面的代码中，_id 是重复的文档的唯一标识符。

自动删除

自动删除重复数据是更好的方法，因为它会在数据库中发现可疑的条目，并删除所有重复的文档。要自动删除 MongoDB 中的重复数据，您可以执行以下三行代码:

// javascriptcn.com 代码示例
var duplicateDocs = db.collection.aggregate([
{$group: {_id: {key: "$fieldName"}, uniqueIds: {$addToSet: "$_id"},  count: {$sum: 1}}},
{ $match: { count: { $gt: 1 } } }
])["result"];

duplicateDocs.forEach(function(doc) {
    doc.uniqueIds.shift();
    db.collection.remove({_id: {$in: doc.uniqueIds}});
});

在上面的代码中，首先使用聚合框架来查找重复文档，并通过匹配过滤器过滤出所有重复的文档文档。然后，将这些文档作为“结果”存储在 duplicateDocs 变量中，并使用 forEach 循环来移除重复的文档。

总结

既然我们已经了解了如何从 MongoDB 中删除重复的数据，那么就应该知道，这是一项非常重要的前端技能。在处理大型数据集时，重复数据会影响查询速度和数据质量。希望本文的指导能够帮助您更好地利用 MongoDB。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/6547bc427d4982a6eb21402f