在网站开发中，机器人协议文件（robot.txt）是一个重要的文件，它可以告诉搜索引擎，哪些页面被允许被爬取，哪些页面不被允许被爬取。使用 Gatsby 搭建网站时，我们可以使用一个名为 gatsby-plugin-robots-txt 的 npm 包，帮助我们生成机器人协议文件。
安装 gatsby-plugin-robots-txt
在 Gatsby 项目中，我们可以使用 npm 包管理工具来安装 gatsby-plugin-robots-txt。在命令行中输入以下命令：
npm install gatsby-plugin-robots-txt
配置 gatsby-plugin-robots-txt
在 Gatsby 项目中，我们需要在 gatsby-config.js 文件中配置 gatsby-plugin-robots-txt。以下是一个简单的示例配置：
-- -------------------- ---- -------
-------------- - -
-------- -
-
-------- ---------------------------
-------- -
------- -- ---------- ---- --------- ----------------- --
-
-
-
--上述示例中，我们使用了 policy 选项设置机器人协议文件中的规则。其中，userAgent 字段指定了哪些搜索引擎的爬虫需要遵守该规则，disallow 字段指定了哪些页面不能被爬取。
更多配置选项
除了 policy 选项外，gatsby-plugin-robots-txt 还提供了其他的配置选项。以下是一些常用的配置选项：
- host: 指定网站的主机名。
- sitemap: 指定网站的 sitemap 文件的地址。
- resolveEnv: 指定使用哪个环境变量的值作为机器人协议文件中的规则。
更多配置选项可以在 项目页面 中查看。
示例代码
以下是一个完整的 gatsby-config.js 文件的示例代码：
-- -------------------- ---- -------
-------------- - -
------------- -
------ --- ------ ------
------------ -- ---- ------- -- --------
------- ----- -----
-------- -------------------------
--
-------- -
-----------------------------
-
-------- ---------------------------
-------- -
----- --------------------------
-------- --------------------------------------
------- -- ---------- ---- --------- ----------------- --
-
-
-
--上述示例中，我们配置了 siteMetadata，指定了网站的元数据。同时，我们也配置了 gatsby-plugin-robots-txt，使用了 host 和 sitemap 选项指定了网站的主机名和 sitemap 地址，并使用了 policy 选项指定了机器人协议文件中的规则。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/5eedb69db5cbfe1ea061159a