如何使用 Express.js 和 Node.js 实现大文件上传

阅读时长 7 分钟读完

在现代 Web 应用中,大文件上传是非常常见的需求。但是,由于 HTTP 协议的限制,上传大文件时会需要很长的时间而且很容易出错。本文将介绍如何使用 Express.js 和 Node.js 来实现大文件上传,并提供示例代码以供参考。

HTTP 协议限制

HTTP 协议的请求和响应都是基于 TCP/IP 协议的,而 TCP/IP 协议是一个面向连接的协议。这意味着在 HTTP 协议中,一个请求必须发送完整才能获得响应,即使是在上传文件时也是如此。

因此,上传大文件时需要将整个文件加载到内存中,然后以单个请求的方式发送给服务器。这对于大型文件来说是非常低效的,并且会增加强制停止上传之类的风险。

使用 Express.js 和 Node.js 实现大文件上传

为了解决 HTTP 协议的限制,我们可以使用流式上传,即将文件分成多个块,每个块被单独上传,并在服务器上进行重新组成。这种方法使得上传大文件变得更加高效,同时也更安全,因为如果上传过程中出现故障,可以重新启动上传而不必从头开始。

以下是如何使用 Express.js 和 Node.js 实现大文件上传的基本步骤:

  1. 安装 multerformidable 这两个模块。
  1. 创建一个新的 Express.js 应用程序。
  1. 创建一个上传路由,使用 multerformidable 模块处理上传的文件块。
-- -------------------- ---- -------
----- ------ - ------------------
----- - ------------ - - ----------------------

----- ------- - -----------------------

----- ------ - -------- ------- ---------

------------------- ----- ----- ---- -- -
  
  ----- ------ - ---
  ----- ----- - ---

  ----- ---- - --- ---------------

  ---------------- ------- ------ -- -
    ------------- - ------
  ---

  --------------- ------- ----- -- -
    ------------ - -----
  ---

  -------------- ----- -- -
    -- ----- -
      -------------------
      --------------------
    -

    --------------------- --------
    -------------------- -------

    --------------------
  ---

  ----------------
---

在上面的代码中,multer 负责处理上传的文件块,而 formidable 负责从上传的文件块中提取信息,如文件名、文件类型、文件大小等。在这个例子中,我们使用了 memoryStorage,这会将上传的文件块存储在内存中,但是你也可以将这些块存储在磁盘上。

  1. 接收文件块,将其保存在内存中。
-- -------------------- ---- -------
------------------- ----- ----- ---- -- -
  
  ----- ------ - ---
  ----- ----- - ---

  ----- ---- - --- ---------------

  ---------------- ------- ------ -- -
    ------------- - ------
  ---

  --------------- ------- ----- -- -
    ------------ - -----
  ---

  -------------- ----- -- -
    -- ----- -
      -------------------
      --------------------
    -

    --------------------- --------
    -------------------- -------

    --------------------
  ---

  --- ---------- - --

  -------------- ------- -- -
    -------------- - ----------- - ------
    -------------
  ---

  ------------- -- -- -
    ----------------
  ---
---

在上面的代码中,我们在 req.on("data", ...) 中接收上传的块并将其保存在内存中,然后在 req.on("end", ...) 事件中调用 form.parse(req) 来提取信息。

  1. 收集所有块并将它们合并到一个文件中。
-- -------------------- ---- -------
------------------- ----- ----- ---- -- -
  
  ----- ------ - ---
  ----- ----- - ---

  ----- ---- - --- ---------------

  ---------------- ------- ------ -- -
    ------------- - ------
  ---

  --------------- ------- ----- -- -
    ------------ - -----
  ---

  -------------- ----- -- -
    -- ----- -
      -------------------
      --------------------
      -------
    -

    --------------------- --------
    -------------------- -------

    ----- ---- - --- ------------------------------------------- -- ---------------------- -- -- ------ --------

    --------------------
  ---

  --- ---------- - --

  -------------- ------- -- -
    -------------- - ----------- - ------
    -------------
  ---

  ------------- -- -- -
    ----------------
  ---
---

在上面的代码中,我们使用 Object.values(files) 返回一个数组,其中包含所有上传的块,然后使用 map 函数将每个块转换为一个 Uint8Array,最后使用 reduce 函数将它们合并在一起。注意:在将块合并到一个文件中之前,你需要确保它们按正确的顺序排列,否则文件可能会损坏。

  1. 配置上传路由和启动服务器。

启动应用程序后,使用你最喜欢的 HTTP 客户端发送带有块数据的 POST 请求即可将大文件上传到服务器。

结论

本文介绍了如何使用 Express.js 和 Node.js 实现大文件上传的基本原理,并提供了示例代码。通过这种方法,你可以为你的 Web 应用程序提供稳健而高效的上传机制,同时还可以防止不必要的下载时间和服务器不必要的负担。

来源:JavaScript中文网 ,转载请注明来源 https://www.javascriptcn.com/post/671eb1262e7021665ef93637

纠错
反馈