npm 包 crawler.plugins.common 使用教程-JavaScript中文网-JavaScript教程资源分享门户

前言

随着 Web 应用程序的不断增长和复杂性的提高，Web 抓取成为了一个重要的数据获取方式。Web 抓取不仅可以为我们提供海量的数据，还可以帮助我们对竞争对手进行分析，监控市场趋势等。而 Node.js 的出现，让 Web 抓取变得更加容易和高效。

Node.js 提供了一些优秀的库和工具，其中一个非常流行的库就是 crawler。crawler 是由爬虫爱好者 bda-research 开发的一个强大的 Node.js 爬虫框架。它支持多线程和分布式，提供了丰富灵活的 API，能够处理动态页面、cookie、session、代理等复杂场景，极大地方便了开发者。

然而 crawler 的 API 相对比较底层，而且具备一定学习曲线，对于初学者来说有些困难。为了方便开发者使用 crawler 进行抓取，crawler.plugins.common 库诞生了。本文将会介绍 crawler.plugins.common 库的使用方法，适合对 crawler 有一定了解的开发者，希望能够帮助大家更轻松地实现 Web 抓取。

什么是 crawler.plugins.common？

crawler.plugins.common 是提供在 crawler 框架下使用的一组工具库，包含了一系列优秀的插件和工具类。其主要包含以下模块：

HTMLParser：用于解析 HTML 代码。
JQueryPlugin：基于 cheerio 的插件，用于在爬虫中使用 jQuery 语法。
UtilPlugin：一些常用工具，如编码转换、日期格式化等。
LoggerPlugin：用于输出日志。
RetryPlugin：用于实现请求重试。
ProxyPlugin：用于使用代理进行请求。
SessionPlugin：用于维护 Session。
CrawlerPlugin：用于多线程和分布式爬虫。

这些工具可以帮助开发者更方便地实现各种 Web 抓取需求。

如何使用 crawler.plugins.common？

安装

首先，我们需要安装 crawler 和 crawler.plugins.common。

npm install crawler crawler.plugins.common

引用

安装完成后，我们在 Node.js 模块中加载需要的库。

const crawler = require('crawler');
const CrawlerPlugin = require('crawler.plugins.common').CrawlerPlugin;
const LoggerPlugin = require('crawler.plugins.common').LoggerPlugin;
const RetryPlugin = require('crawler.plugins.common').RetryPlugin;
const SessionPlugin = require('crawler.plugins.common').SessionPlugin;

如果需要使用其它模块，可以在代码中需要的位置加载。

const HTMLParser = require('crawler.plugins.common').HTMLParser;
const JQueryPlugin = require('crawler.plugins.common').JQueryPlugin;
const UtilPlugin = require('crawler.plugins.common').UtilPlugin;
const ProxyPlugin = require('crawler.plugins.common').ProxyPlugin;

其中，HTMLParser、JQueryPlugin、UtilPlugin、ProxyPlugin 都是可选模块，不需要使用可以不加载。而 CrawlerPlugin、LoggerPlugin、RetryPlugin、SessionPlugin 是必须加载的模块。

配置

接下来，我们需要进行配置。以下代码是一个简单的示例，在 crawler 中实现了一个博客园首页的抓取。

-- -------------------- ---- -------
----- - - --- ---------
    --------------- --- -- -----
    ---------- ----- -- ------
    -------- -- -- ------
    ------------- ----- -- ------
    ------- ------
    --------- ------- ---- ----- -- -
        -- ------- -
            -------------------
        - ---- -
            ----- - - ------
            -------------------------------
        -
        -------
    -
---

-- ----
--------- ---------------- --- --------------- --- -------------- --- -----------------

-- -- -------
---------
    ---- ---------------------------
    -------- -
        ------------- ------------ -------- -- ----- ------ ---- -------- -------------- -------------
    -
---展开代码

在这个示例中，我们通过 crawler.plugins.common 中的四个插件，分别实现了多线程和分布式、日志输出、请求重试和 Session 维护。其中：

CrawlerPlugin 用于启用多线程和分布式功能。
LoggerPlugin 用于输出日志，可以自由定义日志级别和输出格式。
RetryPlugin 可以控制请求重试次数和间隔，实现服务稳定性。
SessionPlugin 可以自动处理 Cookie 并且实现 Session 维护，方便开发者编写符合政策的爬虫。

HTML 解析

使用 HTMLParser 可以非常方便地解析 HTML 代码，以下是一个示例。

const parseHtml = (html) => {
    const root = HTMLParser.parse(html);
    console.log(root.documentUri);
    console.log(root.childNodes[0].tagName);
}

parseHtml('<html><head><title>test</title></head><body><p>hello world!</p></body></html>');

使用 jQuery

使用 jQuery 语法，可以非常方便地对 DOM 进行操作和查找。

const parseHtml = (html) => {
    const $ = require('crawler.plugins.common').JQueryPlugin.load(html);
    console.log($('title').text());
}

parseHtml('<html><head><title>test</title></head><body><p>hello world!</p></body></html>');

工具类的使用

UtilPlugin 中包含了一些常用工具，例如编码转换、日期格式化等，以下是使用示例。

const UtilPlugin = require('crawler.plugins.common').UtilPlugin;
console.log(UtilPlugin.toUtf8('中文测试'));
console.log(UtilPlugin.format(new Date(), 'yyyy-MM-dd'));

使用代理

使用代理可以在一定程度上降低因 IP 被封而受到影响的概率。

const ProxyPlugin = require('crawler.plugins.common').ProxyPlugin;
c.use(new ProxyPlugin('http://127.0.0.1:9999'));

以上代码可以让请求使用代理服务器进行请求。

总结

crawler.plugins.common 是集成了多个实用工具的爬虫插件库，它可以帮助开发者更方便地实现各种 Web 抓取需求。本篇文章通过介绍其核心模块，从多个方面展示了 crawler.plugins.common 的使用方法。

尽管 crawler.plugins.common 无法处理所有的 Web 抓取需求，但它已经是一个非常实用的 Node.js 爬虫框架。它提供了丰富灵活的 API，能够处理动态页面、cookie、session、代理等复杂场景，使用它进行 Web 抓取将是一个良好的编码体验。

来源：JavaScript中文网，转载请注明来源 https://www.javascriptcn.com/post/201644

npm 包 crawler.plugins.common 使用教程

前言