MongoDB 大批量数据导入的几种方式及优化-JavaScript中文网-JavaScript教程资源分享门户

在使用 MongoDB 时，经常需要导入大量数据。如何高效地导入数据，是影响 MongoDB 性能的关键之一。本文将介绍 MongoDB 大批量数据导入的几种方式，以及相应的优化方法，希望能为前端开发者提供一些指导。

1. mongoimport 命令

mongoimport 命令是 MongoDB 自带的导入工具，可以将 CSV、JSON、TSV 等格式的数据导入 MongoDB。使用 mongoimport 导入数据的基本命令为：

mongoimport --db <database-name> --collection <collection-name> --type <file-type> --file <filename>

其中，<database-name> 为要导入数据的数据库名称，<collection-name> 为要导入数据的集合名称，<file-type> 为要导入的文件类型，<filename> 为要导入的文件名。

mongoimport 的优点是方便快捷，对于小数据集的导入效果比较好。但对于大量数据的导入，mongoimport 的性能和效率就会受到限制。

2. 手写导入脚本

手写导入脚本是在前端开发中经常使用的方法，也可以用于 MongoDB 数据导入。通过编写脚本，可以实现更多的控制和优化。手写导入脚本的具体步骤如下：

连接 MongoDB 数据库；
读取数据文件，并按照一定格式解析数据；
手动批量插入数据进入 MongoDB 数据库；

手写导入脚本比 mongoimport 命令更加灵活，可以针对不同情况进行优化，比如数据分块、重试机制等。但相对来说，手写导入脚本需要开发者独立进行编写和维护，费时费力。

以下是手写导入脚本的示例代码：

// javascriptcn.com 代码示例
const fs = require('fs');
const mongodb = require('mongodb');
const MongoClient = mongodb.MongoClient;

const url = 'mongodb://localhost:27017/mydb';
const dbname = 'mydb';
const collname = 'mycoll';
const fileType = 'csv';
const fileName = 'data.csv';

MongoClient.connect(url, (err, client) => {
  if (err) {
    console.error(err);
    return;
  }

  const db = client.db(dbname);
  const coll = db.collection(collname);

  const content = fs.readFileSync(fileName, 'utf-8');
  const lines = content.split('\n');
  const data = [];
  for (let i = 1; i < lines.length; i++) {
    const cols = lines[i].split(',');
    data.push({
      name: cols[0],
      age: cols[1],
    });

    if (i % 1000 === 0) {
      coll.insertMany(data, (err, res) => {
        if (err) {
          console.error(err);
          return;
        }
        console.log(`inserted ${res.insertedCount} records`);
      });
      data = [];
    }
  }

  if (data.length > 0) {
    coll.insertMany(data, (err, res) => {
      if (err) {
        console.error(err);
        return;
      }
      console.log(`inserted ${res.insertedCount} records`);
    });
  }

  client.close();
});

以上代码实现了从 CSV 文件中读取数据，逐条解析，然后每 1000 条数据进行一次批量插入。开发者可以根据实际情况修改优化。

3. 使用 Mongoose 插件

Mongoose 是 MongoDB 官方推荐的 Node.js ORM，提供了非常方便的函数库，可用于将 JSON 对象转换为 MongoDB 文档。Mongoose 插件可以将 CSV、JSON、XML 等格式的数据转为文档格式。

以下是使用 Mongoose 插件导入数据的示例代码：

// javascriptcn.com 代码示例
const fs = require('fs');
const mongoose = require('mongoose');
const csv = require('csvtojson');
const through2 = require('through2');
mongoose.connect('mongodb://localhost:27017/mydb', {
    useNewUrlParser: true,
    useUnifiedTopology: true
});
const db = mongoose.connection;
db.on('error', console.error.bind(console, 'connection error:'));
db.once('open', function () {
    console.log("Connected successfully to server");

    const schema = new mongoose.Schema({
        name: String,
        age: Number
    });

    const data = [];

    const stream = fs.createReadStream('data.csv')
        .pipe(csv({
            headers: ['name', 'age']
        }))
        .pipe(through2.obj(function (record, encoding, callback) {
            data.push(record);
            callback(null, record);
        }));

    stream.on('finish', () => {
        const Model = mongoose.model('mycoll', schema);

        Model.insertMany(data, function (error, docs) {
            if (error) {
                console.error(error);
            } else {
                console.log('inserted', docs.length, 'documents');
            }
            mongoose.connection.close();
        });
    });
});

该示例代码使用了 csvtojson 和 through2 两个库将 CSV 文件转化为 MongoDB 文档格式，并实现了一些基本的优化操作。我们可以看到，使用 Mongoose 插件的优点在于简洁高效，适合大批量数据导入。同时，Mongoose 插件也提供了更多的数据操作方法和优化机制。

总结

本文介绍了 MongoDB 大批量数据导入的几种方式，包括 mongoimport 命令、手写导入脚本和使用 Mongoose 插件。对于小数据集的导入，mongoimport 命令可以满足需求；对于大量数据的导入，手写导入脚本和 Mongoose 插件是更好的选择。希望本文能对前端开发者在使用 MongoDB 进行数据导入时提供一些指导。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/653e06007d4982a6eb79c427