在 Web 开发中，我们经常会处理数组数据。当我们需要对大型数组数据进行处理时，我们需要对数据流进行切分，以避免过多的内存占用。split-array-stream 就是一个能够将大数组分割成小数组并以流的方式处理的 npm 工具包，本文深入介绍了 split-array-stream 的使用方法。
split-array-stream 的基础概念
作为一个 Node.js 模块，split-array-stream 的核心方法是 splitArrayStream()，这个方法会将一个数组切分成等分的小数组，并返回一个 Node.js 的 Stream 对象，可以使用 Node.js 内置的 Stream API 进行链式调用。
split-array-stream 的安装
split-array-stream 可以通过 npm 安装，执行以下命令即可：
npm install split-array-stream
split-array-stream 的使用方法
在深入学习 split-array-stream 的之前，让我们先通过一个简单的示例来了解如何使用它。
想象一下我们所处理的数据如下所示：
const data = ['a', 'b', 'c', 'd', 'e', 'f'];
现在我们要将数组中的每个元素打印出来，但是我们又不想一次性将数组加载到内存中，那么我们可以通过 split-array-stream 随时流式调用小数组。
-- -------------------- ---- -------
----- ---------------- - ------------------------------
-- ----
----- ----------- - ---------------------- -------- ----
-- ---------
---------------------- -------- ------- --
----- --- - ----------------
-----------------
---运行该代码，我们将获得以下输出：
'a,b,c' 'd,e,f'
可以看出， splitArrayStream() 将原始数据分成了包含三个元素的小数组并以流的方式流式处理。
split-array-stream 的其他配置项
除了默认的长度，splitArrayStream() 还有其他几个有用的配置项，我们了解这些配置项的使用方法：
option.length
明确设置小数组的长度。
const opt = { length: 3 };
const arrayStream = splitArrayStream(data, opt);option.fillLast
如果数据不足小数组长度的最后一个部分是否进行填充。
// 当 fillLast 参数为 false 时，输出如下 'a,b,c' 'd,e,f' // 当 fillLast 参数为 true 时，输出如下 'a,b,c' 'd,e,f,undefined,undefined,undefined'
option.fillWithValue
如果需要填充最后一个小数组时指定填充的值。
const opt = { length: 3, fillWithValue: null };
const arrayStream = splitArrayStream(data, opt);split-array-stream 的高级使用
split-array-stream 还支持一些高级的使用方法。如果我们需要对数据进行流式处理以及从其他 Stream 中读取数据，那么我们可以先将数据存储在数据流中，然后通过 pipe() 方法通过不同的 Stream 进行数据流的处理。
例如，我们可以将 splitArrayStream() 返回的数据流连接到一个 JavaScript TensorFlow.js 库并将打印的切片转换为张量。
-- -------------------- ---- ------- ----- -- - ---------------------------- ----- ---------------- - ------------------------------ ----- ---- - ----- ---- ---- ---- ---- ----- -- --------- - ---- ----- ----------- - ---------------------- - ------- - --- -- ------ ------ -- --------------------------------------------------- -- - --- ------ - -------------- -------------------- ---
可以看到，由于 splitArrayStream() 返回的是一个数据流，我们可以直接通过 pipe() 方法将它连接到任何其他处理流，在本例中连接到 TensorFlow.js 的数据流中进行边处理边转换为张量的操作。
总结
split-array-stream 不仅提供了一种将大型数组切分成小数组来避免过多内存占用的方法，同时还提供了其他诸如 fillLast、fillWithValue 等高级配置选项。它是 promise 模式的可读数据流，支持 pipe() 等常规 Node.js 流式处理操作，对于大自然的处理是一种很好的选择。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/5eeda9e1b5cbfe1ea06102cb