在现代的 Web 开发中，我们难免需要爬取网站的数据，而网站的数据往往体现在其 URL 中。如果有大量 URL 需要处理，手动写一个爬虫程序就会变得非常麻烦。这时候，我们可以使用 npm 包 urls-crawler 来轻松地实现 URL 的批量处理。本文将介绍 urls-crawler 的使用教程，涵盖了详细的内容和示例代码。
安装 urls-crawler
我们可以使用 npm 命令来安装 urls-crawler：
npm install urls-crawler --save
或者使用 yarn：
yarn add urls-crawler
使用 urls-crawler
urls-crawler 的使用非常简单。我们可以直接导入该模块，然后传入一个 URL 列表，该模块就可以自动扫描这些 URL。以下是一个基本的示例：
const urlsCrawler = require('urls-crawler');
const urls = ['https://example.com', 'https://example.net', 'https://example.org'];
urlsCrawler(urls).then((result) => {
console.log(result);
}).catch((error) => {
console.error(error);
});这个示例会扫描三个 URL，并返回这些 URL 中包含的链接。urls-crawler 将对这些链接进行处理，将它们添加到已扫描的 URL 数组中，并继续扫描所有新的 URL。这个过程将一直持续，直到没有新的 URL 可以扫描为止。
除此之外，urls-crawler 还提供了很多可选的配置项，以控制扫描的深度、速度和输出。以下是一些可以使用的配置项：
maxDepth：指定最大扫描深度；concurrency：指定同时扫描的 URL 数量；delay：指定每个 URL 扫描之间的延迟时间；filter：指定 URL 路径的过滤器；headers：指定 HTTP 请求头。
示例代码
下面是一个更复杂的示例，展示了如何使用 urls-crawler 来处理一个真实的网站。该示例会扫描 Reddit 的首页，然后输出所有链接。
-- -------------------- ---- ------- ----- ----------- - ------------------------ ----- ---- - --------------------------- ----- -------- - -- ----- ----------- - -- ----- ----- - ---- ----- ------ - ----- -- - ------ ------------------- -- ----------------------------------------- -- ----- ------- - - ------------- -------------- -- ----------------- - --------- ------------ ------ ------- ------- ---------------- -- - -------------------- ---------------- -- - --------------------- ---
在这个示例中，我们指定了扫描深度为 2，同时最多同时处理 5 个 URL，每个 URL 之间的延迟时间为 500 毫秒。我们还指定了一个过滤器，该过滤器将只扫描包含 “/r/” 的 URL 和 Reddit 主页的链接。最后，我们还指定了一个 HTTP 请求头。
总结
使用 urls-crawler 可以让我们轻松地处理大量的 URL。在实际的项目中，我们可以使用 urls-crawler 扫描网站，然后对处理后的结果进行筛选、过滤和处理。当然，我们需要根据实际的需求来进行配置，以确保扫描的质量和速度。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/600671d130d092702382299f