当我们需要快速地并行处理大量文件时，Node.js 中的流（stream）非常有用。然而，在处理数千个小文件时，单个进程可能仍然不够快。在这种情况下，通过将处理过程分配给多个子进程来利用多核 CPU 可以大大减少处理时间。
npm 包 through2-concurrent 正是为了解决这个问题而生。它是对 through2 模块的扩展，可以在 Node.js 中创建可配置的、并发的数据流转换。
安装 through2-concurrent
首先，我们需要安装 through2-concurrent 包。使用 npm 命令即可：
npm install --save through2-concurrent
使用 through2-concurrent 转换流
现在我们已经安装好了 through2-concurrent，下面让我们看看如何使用它来创建并发数据流转换。
假设我们想要将一个文件夹中的所有 .txt 文件转换为 .md 格式。以下是一段示例代码：
-- -------------------- ---- ------- ----- -- - -------------- ----- ---- - ---------------- ----- ------------------ - ------------------------------- ----- -------- - ---------- ----- --------- - ----------- -------------------- ----- ------ -- - -- ----- ----- ---- ----- ------ - ------------------------ --------------- - -- ------ ---- --- -- - -- ------------------------ - ------ ----- - ----- --------- - ------------------- ------ ----- ---------- - -------------------- ---------------------- -------------- ---------------------- ------- ----- ----- -- - -- ----- ------ -------- ----- ------ - -- --------- ------------------------ ------- --- -- - -- ----- ------ -------- ------------------------- -- ---------------- ----- --- --- --- ------------------ -- - ------------------- --- ------------- -- - ---------------- ----- ------------ --- ---展开代码
在这个例子中，我们使用了 through2Concurrent.obj 方法来创建一个并发的对象流转换。其中，maxConcurrency 选项指定了最大并发数为 4。
回调函数 ((file, enc, cb)) 接收当前正在处理的文件名、编码方式以及成功结束操作的回调函数。如果文件不是以 .txt 结尾，则我们直接调用 cb()，表示忽略该文件。
否则，我们读取输入文件，将其内容转换为 Markdown 格式（通过在文本前加上标题）并写入到输出文件。完成后，我们打印出日志，并调用 cb() 表示已经完成本次转换操作。
注意，在循环中使用 stream.write 来添加要转换的文件名，最后使用 stream.end 来触发流操作并收集结果。
总结
在本文中，我们已经了解了如何使用 through2-concurrent 包来在 Node.js 中创建可配置的并发数据流转换。这对于加速处理大量文件任务是非常有用的。
虽然示例代码可能比较简单，但是通过结合其他 Node.js 模块以及进行更复杂的转换操作，您可以快速地构建出高效的文件处理管道。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/49570
