Node.js 中使用 cheerio 进行网页解析的教程-JavaScript中文网-JavaScript教程资源分享门户

在 Node.js 中，我们经常需要对网页进行解析，提取其中的数据，然后进行处理和分析。而 cheerio 是一款非常方便的 Node.js 模块，可以帮助我们快速地进行网页解析和数据提取。本文将详细介绍 cheerio 的使用方法，包括安装、基本使用、高级用法和实战案例。

安装 cheerio

安装 cheerio 非常简单，只需要在命令行中输入以下命令即可：

npm install cheerio

基本使用

使用 cheerio 进行网页解析非常简单，只需要先将网页内容传入 cheerio.load() 方法，然后就可以使用 jQuery 的语法进行数据提取了。以下是一个简单的示例：

const cheerio = require('cheerio');
const html = '<div><p>Hello, World!</p></div>';
const $ = cheerio.load(html);
console.log($('p').text()); // 输出：Hello, World!

在这个示例中，我们首先引入了 cheerio 模块，然后定义了一个包含 HTML 代码的字符串。接着，我们使用 cheerio.load() 方法将这个字符串转换成了一个 cheerio 对象，然后使用 $('p').text() 方法提取了其中的文本内容，并将其打印到了控制台上。

高级用法

除了基本用法之外，cheerio 还提供了一些高级用法，可以帮助我们更加灵活地进行网页解析和数据提取。以下是一些常用的高级用法：

1. 遍历 cheerio 对象

遍历 cheerio 对象可以使用 jQuery 的 each() 方法。以下是一个示例：

const cheerio = require('cheerio');
const html = '<ul><li>Apple</li><li>Banana</li><li>Cherry</li></ul>';
const $ = cheerio.load(html);
$('li').each(function (index, element) {
  console.log($(this).text());
});

在这个示例中，我们首先定义了一个包含无序列表的 HTML 代码，然后使用 cheerio.load() 方法将其转换成了一个 cheerio 对象。接着，我们使用 $('li').each() 方法遍历了其中的每一个 li 元素，并使用 $(this).text() 方法提取了其中的文本内容，并将其打印到了控制台上。

2. 使用 CSS 选择器进行数据提取

除了使用 jQuery 的语法之外，我们还可以使用 CSS 选择器来进行数据提取。以下是一个示例：

const cheerio = require('cheerio');
const html = '<ul><li class="fruit">Apple</li><li class="fruit">Banana</li><li class="fruit">Cherry</li></ul>';
const $ = cheerio.load(html);
console.log($('.fruit').text());

在这个示例中，我们首先定义了一个包含无序列表的 HTML 代码，其中每个 li 元素都有一个 class 属性为 fruit。接着，我们使用 $('.fruit').text() 方法提取了其中所有 class 属性为 fruit 的元素的文本内容，并将其打印到了控制台上。

3. 使用 filter() 方法进行数据筛选

在进行数据提取时，有时候我们需要对数据进行筛选，只提取符合某些条件的数据。这时候可以使用 filter() 方法。以下是一个示例：

const cheerio = require('cheerio');
const html = '<ul><li class="fruit">Apple</li><li class="vegetable">Carrot</li><li class="fruit">Cherry</li></ul>';
const $ = cheerio.load(html);
$('.fruit').filter(function (index, element) {
  return $(this).text().indexOf('C') > -1;
}).each(function (index, element) {
  console.log($(this).text());
});

在这个示例中，我们首先定义了一个包含无序列表的 HTML 代码，其中每个 li 元素都有一个 class 属性。接着，我们使用 $('.fruit') 方法提取了其中所有 class 属性为 fruit 的元素，并使用 filter() 方法筛选了其中文本内容中包含字母 C 的元素，并将其打印到了控制台上。

实战案例

最后，我们来看一个实战案例，使用 cheerio 解析一个网页，并将其中的数据保存到一个 JSON 文件中。以下是代码：

// javascriptcn.com 代码示例
const cheerio = require('cheerio');
const fs = require('fs');
const request = require('request');
const url = 'https://movie.douban.com/top250';
request(url, function (error, response, body) {
  if (!error && response.statusCode == 200) {
    const $ = cheerio.load(body);
    const data = [];
    $('#content .grid_view li').each(function (index, element) {
      const title = $(this).find('.title').text();
      const rating = $(this).find('.rating_num').text();
      const quote = $(this).find('.quote .inq').text();
      data.push({title, rating, quote});
    });
    fs.writeFile('movies.json', JSON.stringify(data, null, 2), function (err) {
      if (err) console.log(err);
      else console.log('Data saved to movies.json');
    });
  }
});

在这个案例中，我们首先使用 request 模块获取了豆瓣电影 Top250 的网页内容，然后使用 cheerio.load() 方法将其转换成了一个 cheerio 对象。接着，我们使用 jQuery 的语法从中提取了所需的数据，并将其保存到了一个 JSON 文件中。

总结

本文介绍了 Node.js 中使用 cheerio 进行网页解析的教程，包括安装、基本使用、高级用法和实战案例。希望本文能够帮助读者更好地理解 cheerio 的使用方法，并在实际开发中得到应用。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/6582c54cd2f5e1655ddd64e4