如何使用 Express.js 实现 web 爬虫-JavaScript中文网-JavaScript教程资源分享门户

Web 爬虫是一种获取互联网信息的方法，通过自动访问网站并解析页面内容来获取所需信息。在前端开发中，我们经常需要从其他网站获取数据，比如获取天气信息、获取新闻、获取商品价格等等。这时候，使用 Web 爬虫就可以轻松地实现这些功能。本文将介绍如何使用 Express.js 实现一个简单的 Web 爬虫。

什么是 Express.js

Express.js 是一个基于 Node.js 平台的 Web 应用开发框架，它提供了简单、快速的方式来创建 Web 应用。使用 Express.js 可以方便地实现路由、中间件、模板引擎等功能，是 Node.js 开发 Web 应用的首选框架之一。

实现思路

在实现 Web 爬虫时，我们需要完成以下几个步骤：

发送 HTTP 请求获取网页内容
解析网页内容，提取所需信息
将提取的信息返回给客户端

在 Express.js 中，可以使用 request 模块发送 HTTP 请求，使用 cheerio 模块解析网页内容。最后，将提取的信息以 JSON 格式返回给客户端。

实现步骤

安装依赖

在开始实现之前，需要安装以下两个依赖：

npm install express
npm install request
npm install cheerio

实现代码

下面是一个简单的示例代码，实现了从百度获取搜索结果的功能：

const express = require('express');
const request = require('request');
const cheerio = require('cheerio');

const app = express();

// 定义路由
app.get('/search/:keyword', (req, res) => {
  const keyword = req.params.keyword;
  const url = `https://www.baidu.com/s?wd=${keyword}`;

  // 发送 HTTP 请求
  request(url, (error, response, body) => {
    if (!error && response.statusCode == 200) {
      // 解析网页内容
      const $ = cheerio.load(body);
      const results = [];

      $('.result').each((i, elem) => {
        const title = $(elem).find('.t a').text();
        const link = $(elem).find('.t a').attr('href');
        const summary = $(elem).find('.c-abstract').text();
        results.push({ title, link, summary });
      });

      // 返回 JSON 格式的搜索结果
      res.json({ results });
    } else {
      res.status(500).send(error);
    }
  });
});

// 启动服务器
app.listen(3000, () => {
  console.log('Server started on port 3000');
});

在上面的代码中，我们定义了一个 /search/:keyword 的路由，当客户端请求这个路由时，服务器会向百度发送 HTTP 请求，获取搜索结果。然后，服务器会使用 cheerio 模块解析网页内容，提取搜索结果，并将结果以 JSON 格式返回给客户端。

总结

本文介绍了如何使用 Express.js 实现一个简单的 Web 爬虫，通过学习本文，你可以了解到如何使用 Express.js 发送 HTTP 请求和解析网页内容，同时也可以了解到如何使用路由来组织代码。如果你想进一步学习 Web 爬虫的知识，可以尝试使用其他库来实现更复杂的功能。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/658d3c38eb4cecbf2d32f7af