Fastify 是一个高效、低开销、易于学习使用的 Web 框架。它提供了许多优化工具，可以让你快速创建高性能的 Web 服务器。
爬虫是一种可以自动爬取网页并提取有用信息的程序。它可以帮助你快速抽取特定网站上的信息，例如产品价格、评论、数据等。
在本文中，我们将介绍如何在 Fastify 中使用 Node.js 进行简单的爬虫开发。我们将使用 cheerio 和 request-promise 库来实现。
步骤 1：安装和导入所需库
首先，我们需要安装 cheerio 和 request-promise 库，并在 Fastify 中导入它们。
安装：
npm install cheerio request-promise
导入：
const cheerio = require("cheerio");
const rp = require("request-promise");步骤 2：抓取网页内容
接下来，我们需要使用 request-promise 库来获取目标网页的 HTML。
const options = {
uri: "https://target-website.com",
transform: function (body) {
return cheerio.load(body);
},
};
const $ = await rp(options);在这里，我们创建了一个包含目标网站链接、一个将 HTML 转换为 cheerio DOM 的 transform 函数的选项对象。然后，我们将返回的 HTML 转换为 $ 变量，以便我们可以使用 cheerio 的 DOM 操作方法。
步骤 3：使用 cheerio 提取信息
现在我们已经成功地抓取了目标网站的 HTML，接下来我们需要使用 cheerio 对 DOM 树进行操作来提取我们需要的信息。
例如，假设我们要提取目标网页上的所有超链接：
const links = $("a")
.map(function () {
return $(this).attr("href");
})
.get();这里，我们使用 $ 变量来查询 HTML DOM。使用 $('a') 选择器获取包含超链接的标记，并使用 map 函数提取每个超链接的 href 属性。最后，我们使用 get 函数将链接存储到数组中。
步骤 4：完成爬虫
现在我们已经成功地抓取并提取了目标网站上的信息。接下来，我们可以将该信息传递给 Fastify 路由处理程序，以便将其呈现给用户。
这是一个完整的爬虫示例，它可以获取目标网站上的超链接，并将其呈现给用户：
-- -------------------- ---- -------
----- ------- - ---------------------
----- ------- - -------------------
----- -- - ---------------------------
---------------- ----- ----- ---- -- -
----- ------- - -
---- -----------------------------
---------- -------- ------ -
------ -------------------
--
--
----- - - ----- ------------
----- ----- - ------
------------- -- -
------ ---------------------
--
-------
-----------------------------------------
---
-------------------- ----- -------- -- -
-- ----- -
-------------------
----------------
-
------------------- --------- -- -------------
---现在，我们可以启动服务器并访问端口3000（http://localhost:3000）来查看结果。
结论
快速、高效地进行爬虫开发是每个 Web 开发人员的一项重要技能。在本文中，我们使用 Fastify 和 Node.js 中的 cheerio 和 request-promise 库，展示了如何简单而有效地实现爬虫。希望本文对读者有所帮助，让大家可以快速开始构建自己的爬虫项目。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/6738562b317fbffedf0fba8e