Web Scraping 是指从网页中自动收集和提取数据的过程。在数据获取方面，Web Scraping 是一种非常常见和广泛使用的技术，它在各种数据收集场景下都有很好的应用，例如搜索引擎的爬虫、数据挖掘、竞争行业情报等等。
Deno 是一个具有现代特性的运行时环境，它使用 TypeScript 作为主要语言，支持模块化和异步操作，提供了一个安全的执行环境，适合用于开发 Web Scraping 工具。在这篇文章中，我们将介绍如何使用 Deno 实现 Web Scraping，包括如何发起 HTTP 请求，如何在 HTML 中提取数据，以及如何使用正则表达式和 DOM API 进行数据解析。
安装 Deno
首先需要安装 Deno。在 MacOS 和 Linux 中，可以使用下面的命令来安装 Deno。
curl -fsSL https://deno.land/x/install/install.sh | sh
在 Windows 中，可以使用下面的命令来安装 Deno。
iwr https://deno.land/x/install/install.ps1 -useb | iex
安装完成后，可以在终端中输入 deno --version 来检查安装是否成功。
发起 HTTP 请求
在 Deno 中，可以使用 fetch 函数发起 HTTP 请求。例如，要从 https://www.example.com 获取网页内容，可以编写如下代码：
-- -------------------- ---- ------- ----- --- - -------------------------- ----- --- - ----- ----------- -- -------- - ----- ---- - ----- ----------- ------------------ - ---- - ------------------- ------ - - ------------ -
在这个例子中，fetch 函数会返回一个 Response 对象，这个对象包含了请求返回的 HTTP 状态码和文本等信息。如果状态码为 200，表示请求成功，我们可以使用 text 方法将返回结果转换为文本格式。
使用正则表达式提取数据
从 HTML 中提取数据的常用方式是使用正则表达式。在 Deno 中，可以使用 RegExp 对象来创建正则表达式并进行匹配。例如，要从一个网页中提取所有的链接，可以编写如下代码：
-- -------------------- ---- -------
----- --- - --------------------------
----- --- - ----- -----------
-- -------- -
----- ---- - ----- -----------
----- ----- - ----------------------
--- ----- - -----------------
----- ------ --- ----- -
----------------------
----- - -----------------
-
- ---- -
------------------- ------ - - ------------
-在这个例子中，我们使用 /href\s*=\s*"(.*?)"/g 来匹配所有的链接，然后使用 exec 方法来逐个获取匹配的结果。
使用 DOM API 提取数据
如果需要从 HTML 中提取更复杂的数据，例如表格或者列表内容，使用 DOM API 可能更加方便。在 Deno 中，可以使用 dom 子模块来解析 HTML 并使用 DOM API 进行数据提取和操作。例如，要从一个 table 中提取数据，可以编写如下代码：
-- -------------------- ---- -------
------ - ----- - ---- -------------------------------------------------
----- --- - --------------------------
----- --- - ----- -----------
-- -------- -
----- ---- - ----- -----------
----- --- - ----------- -------------
----- ----- - ------------------------------
-- ------- -
----- ---- - -----------------------------
--- ---- - - -- - - ------------ ---- -
----- ---- - -------------------------------
--------------------------------- ----------------------
-
-
- ---- -
------------------- ------ - - ------------
-在这个例子中，我们首先使用 parse 函数将 HTML 解析为 DOM 节点树，然后使用 querySelector 和 querySelectorAll 方法来查找 table、tr 和 td 等元素，最后使用 textContent 属性获取单元格内容。
总结
Deno 提供了方便的工具和库来开发 Web Scraping 工具，包括 HTTP 请求、正则表达式和 DOM API 等。使用 Deno 可以轻松编写出简洁高效的 Web Scraping 工具，为数据获取提供了很好的支持。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/648bf9c848841e9894a435b0
