Node.js 中使用 Puppeteer 进行网页爬取的教程-JavaScript中文网-JavaScript教程资源分享门户

在前端开发中，我们经常需要从网页上获取数据，进行数据分析或者网站监控等操作。而传统的网页爬取方式比较麻烦，需要手动模拟浏览器行为，而且容易被反爬虫机制拦截。而现在，我们可以使用 Puppeteer 这个工具来实现自动化网页爬取。

什么是 Puppeteer

Puppeteer 是一个 Node.js 库，它提供了一个高级的 API 来控制 Chrome 或者 Chromium 浏览器的行为。它可以模拟用户在浏览器中的行为，包括点击、输入、滚动等操作，还可以获取页面的 HTML、CSS、截图等信息。

Puppeteer 的优点在于它基于 Chrome DevTools 协议实现，因此可以与 Chrome 或者 Chromium 浏览器完美匹配。同时，它还提供了很多方便的 API，可以让我们轻松地完成网页爬取、UI 自动化测试等任务。

在使用 Puppeteer 之前，我们需要先安装它。可以通过 npm 命令来安装：

npm install puppeteer

安装完成后，我们就可以在项目中引用 Puppeteer：

const puppeteer = require('puppeteer');

接下来，我们就来看一下如何使用 Puppeteer 进行网页爬取。

我们可以使用 Puppeteer 的 puppeteer.launch 方法来启动一个浏览器实例，并打开一个网页：

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://www.example.com');

这里我们首先使用 puppeteer.launch 方法启动了一个浏览器实例，并通过 browser.newPage 方法创建了一个页面对象。然后，我们使用 page.goto 方法打开了一个网页。

在打开网页之后，我们可以使用 Puppeteer 的 page.content 方法获取网页的 HTML 内容：

const content = await page.content();
console.log(content);

我们还可以使用 Puppeteer 的 page.screenshot 方法来获取网页的截图：

await page.screenshot({ path: 'example.png' });

这里我们将截图保存到了名为 example.png 的文件中。

在网页上进行点击操作也很简单，我们可以使用 Puppeteer 的 page.click 方法来模拟点击：

await page.click('button#submit');

这里我们通过选择器选择了一个 ID 为 submit 的按钮，并模拟了一次点击操作。

在网页上进行输入操作也很简单，我们可以使用 Puppeteer 的 page.type 方法来模拟输入：

await page.type('input[name="username"]', 'example');
await page.type('input[name="password"]', '123456');

这里我们分别为用户名和密码输入了 example 和 123456。

在网页上获取某个元素的内容也很简单，我们可以使用 Puppeteer 的 page.$eval 方法来获取：

const title = await page.$eval('title', el => el.textContent);
console.log(title);

这里我们获取了网页的标题并输出到控制台。

在网页上进行滚动操作也很简单，我们可以使用 Puppeteer 的 page.evaluate 方法来执行一段 JavaScript 代码，从而模拟滚动：

await page.evaluate(() => {
  window.scrollBy(0, window.innerHeight);
});

这里我们模拟了一次向下滚动的操作。

以上就是使用 Puppeteer 进行网页爬取的基本操作，它可以帮助我们轻松地完成各种网页爬取任务。当然，还有很多高级的 API 可以使用，比如模拟网络请求、使用代理、处理验证码等等。希望本文能对大家有所帮助，谢谢阅读！

来源：JavaScript中文网，转载请注明来源 https://www.javascriptcn.com/post/65843724d2f5e1655def629c