MongoDB 是一种非关系型数据库，可以存储各种类型的数据。许多应用程序需要在其开始运行之前向 MongoDB 中导入大量数据，以便能够对其进行查询和分析。在本文中，我们将详细介绍如何在 MongoDB 中导入大批量数据，包括使用 mongoimport 工具、编写 Node.js 脚本以及优化导入性能等。
使用 mongoimport 工具导入数据
mongoimport 是一个可在命令行上运行的工具，可以将大批量数据导入 MongoDB。以下是一些示例：
- 导入 JSON 格式的数据
----------- ---- ---- ------------ ------- ------ ------------
其中，test 是要使用的数据库名称，example 是集合名称，example.json 是要导入的数据文件。
- 导入 CSV 格式的数据
----------- ------ --- -- ---- -- ------- ------------ ------ -----------
其中，headerline 表示第一行是标题行。
- 导入 TSV 格式的数据
----------- ------ --- -- ---- -- ------- ------ -----------
编写 Node.js 脚本导入数据
如果需要对数据进行某些操作，可以使用 Node.js 来处理这些数据并将其插入到 MongoDB 中。以下是一个示例代码：
----- ----------- - -------------------------------
----- -- - --------------
----- -------- - --------------------
----- --- - ---------------------------------
----- -------- - ---------------
----- -------------- - ----------
----- -------- ----- -
----- ------ - --- ---------------- - ---------------- ----- ------------------- ---- ---
--- -
----- -----------------
----- ---------- - ---------------------------------------
----- ---------- - ------------------------------
----- -- - --------------------------
------ -----------
---------- --------
---
--- ------ - ---
--- ----- - --
--- ----- ------ ---- -- --- -
------------------------------
--------
-- -------------- --- ------- -
---------------------- -------- -------------
----- ------------------------------
------ - ---
-
-
-- -------------- - -- -
---------------------- -------- -------------
----- ------------------------------
-
- ----- ----- -
-------------------
- ------- -
----- ---------------
-
-
-------------------------上述代码使用了 MongoDB Node.js 驱动程序，并且通过读取文件逐行导入数据，每 10 万条记录插入一次，以减少内存使用量。
优化导入性能
为了提高导入性能，可以采取以下措施：
使用 mongoimport 的 --numInsertionWorkers 参数。这将允许使用多个插入工作程序并发插入数据。
在 Node.js 中使用显式的批处理操作。具体来说，将多个文档合并到一个数组中，然后使用 insertMany() 方法进行插入。
使用 MongoDB 的副本集或分片群集。这将允许跨多个服务器并发地写入数据，从而提高性能和可伸缩性。
结论
在本文中，我们介绍了如何使用 mongodimport 工具、编写 Node.js 脚本以及优化导入性能，以大规模地向 MongoDB 中导入数据。尽管这些方法并不是唯一的方式，但它们是最流行和可靠的方法之一。对于需要大规模导入数据的应用程序，这些技术肯定会有所帮助。
来源：JavaScript中文网 ，转载请注明来源 本文地址：https://www.javascriptcn.com/post/67241be42e7021665e125ae5