NPM 是 Node.js 的包管理器，通过 npm 包我们可以方便地安装、更新和卸载我们需要的各种 JavaScript 库和工具。@nuxtjs/robots 就是一款 Nuxt.js 的插件包，它能够帮助我们快速地生成一个 robots.txt 文件，从而控制爬虫对我们网站的访问。
本文将详细介绍如何使用 @nuxtjs/robots 插件，为大家提供深度的学习和指导意义。
安装 @nuxtjs/robots
在开始使用 this package 之前，我们需要先安装它。打开终端窗口，进入项目根目录，输入以下命令即可：
npm install @nuxtjs/robots
配置 robots.txt
安装完成后，我们需要配置生成 robots.txt 的相关选项。在 nuxt.config.js 中添加一下配置信息：
-- -------------------- ---- -------
-------------- - -
--
-- ------- ---- ---- ------ ------
--
---- -
-------- -------------------- -- -----------------------
--
--
-- --- ---------- ---------
--
-------- -
----------------
--
------- -
---------- ----
--------- ---
-------- ------------------------------------
-
-其中 env.baseUrl 这个值需要替换为你的实际域名。这个配置文件会在构建阶段生成 robots.txt 文件，并进行常用的搜索引擎的校验。
可选参数
除了配置中的三个参数（UserAgent、Disallow、Sitemap）之外，@nuxtjs/robots 还支持其它参数：
- Host: 设置网站的主机名（默认为当前环境下的基础 URL）
- Allow: 定义哪些 URL 是允许被搜索引擎进行访问的，如果不指定则默认允许所有 URL
- CrawlDelay: 设置爬虫访问的延迟时间，默认值为 null，表示不进行延迟
robots: {
UserAgent: '*',
Disallow: '',
Sitemap: `${process.env.baseUrl}/sitemap.xml`,
Host: '',
Allow: '',
CrawlDelay: null,
}生成 robots.txt 文件
启动项目后，执行如下命令生成 robots.txt：
nuxt generate
该命令将生成静态网站，同时也会在项目根目录下生成 robots.txt 文件。
示例代码
在实际项目中，应用 @nuxtjs/robots 插件十分简单。以下高度举荐结合该插件的实际场景：
-- -------------------- ---- -------
-------------- - -
---- -
-------- -------------------- -- -----------------------
--
-------- -
----------------
--
------- -
---------- ----
--------- ---
-------- -------------------------------------
----- --------------------------
------ -------------------
----------- --
-
-总结
本文详细介绍了如何使用 @nuxtjs/robots 插件，控制爬虫对我们网站的访问。通过该插件，我们能够简单方便地生成 robots.txt 文件，精准控制搜索引擎的访问，并能够提升网站的 SEO 收益。近年来，随着搜索引擎的快速发展，robots.txt 文件也成为经常性更新的项目，特别是对于经常性更换网站内容的网站，更应该多关注该文件的优化和功能扩展。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/5eedc2a7b5cbfe1ea06120bb