MongoDB 大批量数据导入实践分享-JavaScript中文网-JavaScript教程资源分享门户

MongoDB 大批量数据导入实践分享

AI 编程助手，豆包旗下的编程助手，提供智能补全、智能预测、智能问答等能力，节省开发时间，释放脑海中的创造力，支持 VSCode，点击体验 AI

MongoDB 是一种非关系型数据库，可以存储各种类型的数据。许多应用程序需要在其开始运行之前向 MongoDB 中导入大量数据，以便能够对其进行查询和分析。在本文中，我们将详细介绍如何在 MongoDB 中导入大批量数据，包括使用 mongoimport 工具、编写 Node.js 脚本以及优化导入性能等。

使用 mongoimport 工具导入数据

mongoimport 是一个可在命令行上运行的工具，可以将大批量数据导入 MongoDB。以下是一些示例：

导入 JSON 格式的数据

----------- ---- ---- ------------ ------- ------ ------------

其中，test 是要使用的数据库名称，example 是集合名称，example.json 是要导入的数据文件。

导入 CSV 格式的数据

----------- ------ --- -- ---- -- ------- ------------ ------ -----------

其中，headerline 表示第一行是标题行。

导入 TSV 格式的数据

----------- ------ --- -- ---- -- ------- ------ -----------

编写 Node.js 脚本导入数据

如果需要对数据进行某些操作，可以使用 Node.js 来处理这些数据并将其插入到 MongoDB 中。以下是一个示例代码：

----- ----------- - -------------------------------
----- -- - --------------
----- -------- - --------------------

----- --- - ---------------------------------
----- -------- - ---------------
----- -------------- - ----------

----- -------- ----- -
  ----- ------ - --- ---------------- - ---------------- ----- ------------------- ---- ---

  --- -
    ----- -----------------

    ----- ---------- - ---------------------------------------

    ----- ---------- - ------------------------------
    ----- -- - --------------------------
      ------ -----------
      ---------- --------
    ---

    --- ------ - ---
    --- ----- - --
    --- ----- ------ ---- -- --- -
      ------------------------------
      --------

      -- -------------- --- ------- -
        ---------------------- -------- -------------
        ----- ------------------------------
        ------ - ---
      -
    -

    -- -------------- - -- -
      ---------------------- -------- -------------
      ----- ------------------------------
    -
  - ----- ----- -
    -------------------
  - ------- -
    ----- ---------------
  -
-

-------------------------

上述代码使用了 MongoDB Node.js 驱动程序，并且通过读取文件逐行导入数据，每 10 万条记录插入一次，以减少内存使用量。

优化导入性能

为了提高导入性能，可以采取以下措施：

使用 mongoimport 的 --numInsertionWorkers 参数。这将允许使用多个插入工作程序并发插入数据。
在 Node.js 中使用显式的批处理操作。具体来说，将多个文档合并到一个数组中，然后使用 insertMany() 方法进行插入。
使用 MongoDB 的副本集或分片群集。这将允许跨多个服务器并发地写入数据，从而提高性能和可伸缩性。

结论

在本文中，我们介绍了如何使用 mongodimport 工具、编写 Node.js 脚本以及优化导入性能，以大规模地向 MongoDB 中导入数据。尽管这些方法并不是唯一的方式，但它们是最流行和可靠的方法之一。对于需要大规模导入数据的应用程序，这些技术肯定会有所帮助。

来源：JavaScript中文网，转载请联系管理员！本文地址：https://www.javascriptcn.com/post/67241be42e7021665e125ae5