stream-chopper 是一个 npm 包，它可以将一个类似于流的数据源按照指定的大小分割成多个块，并将每个块分别放入数组中返回。它可以对于需要分割大型数据源的前端项目非常有用。
安装
借助 npm，可以很方便地安装 stream-chopper：
npm install stream-chopper
使用
stream-chopper 提供了一个函数 chopper(chunkSize, options)，它接收两个参数：
chunkSize：每个块的大小，这个值必须是一个非负整数。options：包含以下可选的字段： a. delimiter：（默认值为 null），输入数据的分隔符。 b. objectMode：（默认值为 false），如果输入数据是对象，则这个值应该为 true，表示这是一个对象流而不是字节流。 c. highWaterMark：（默认值为 16kb），表示内部缓存的最大值。当内部缓存超过此值时，stream-chopper 将暂停从输入流中读取数据。
使用 stream-chopper 很简单。只需传递分块大小和一些可选的参数，然后将其作为一个可读流包裹在需要读取数据的地方。
-- -------------------- ---- -------
----- ------- - --------------------------
-- --------- --
----- ------------- - ------------
-- -------------------------- -- ---
-------------------------------
--------------------
----------- ------------ -- -
------------------------
--
---------- -- -- -
--------------------
---这里我们以一个从文件中读取数据的示例来解释如何使用 stream-chopper。首先，我们使用 require 函数加载 stream-chopper 包。接着，我们使用 chopper 函数来初始化流，在本例中使用 10 作为块大小。然后，我们从文件中创建一个可读数据流，并将其传递给我们刚刚创建的 stream-chopper 流。最后，我们绑定了 data 事件来捕获每个块，以及 end 事件来指示整个过程已经结束。
示例
为了更好地理解它的用法，我们来编写一个简单的示例程序，该程序读取一个大型的 JSON 文件，将其分割成每个包含 100 行的部分，并将这些部分写到不同的 CSV 文件中。该程序使用 stream-chopper 包来解决大文件拆分问题。
-- -------------------- ---- -------
----- -- - --------------
----- ------- - --------------------------
----- ---------- - ----------------------
----- --------- - -------------------------
--- ---------- - --
--- ------------ - --
----- ------------- - ------------ - ----------- ---- ---
--------------------------------
----------------------------
--------------------
----------- ------------ -- -
---------------
----- -------- - ---------------------------
----- -- - -------------------------------
--------------------- - ------- ---- --
---------
------------- -- -- -
--------------- --------------
---
--
---------- -- -- -
---------------------- --------------- ------
---在上面的示例中，我们首先加载了必要的 npm 包，包括 stream-chopper、JSONStream 和 csv-stringify。然后，我们设置了两个计数器，以便在处理 JSON 数据时跟踪行数和块数。接下来，我们使用 chopper 函数初始化流，并指定对象模式。然后，我们创建一个可读流来从 data.json 文件中读取数据。将该流传递给 JSONStream，以便将 JSON 格式数据解析为一个个对象。然后，将该数据流连接到 chopperStream，使用 data 事件来处理每个数据块。每次处理完一个块，我们递增计数器，然后使用 csv-stringify 包将数据块作为 CSV 格式字符串写入一个文件。每次写入文件后，我们使用 finish 事件来输出一个日志。最终，使用 end 事件来告知我们程序已经完成。
指导意义
stream-chopper 是一个非常实用的 npm 包，可以将大型数据源分割成更小的块，这在 Web 开发中可以极大地提高应用程序的速度和可靠性。但是，请注意，尽管 stream-chopper 容易理解并使用，但它并不是万能的。这个 npm 包不能预测处理大数据源时的所有情况，因此，我们建议您在使用它时，必须向其开发者提供反馈和帮助完善该工具。同时，在使用该工具的同时，也需要多注意内存泄漏等问题。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/5eedae19b5cbfe1ea0610d77