npm 包 wintersmith-robots 使用教程

在前端开发中，我们经常需要把网站放到搜索引擎上进行收录，但是有些页面并不是我们希望搜索引擎进行收录的，如一些测试页面和管理页面等等。这时候就需要使用 robots.txt 文件来告诉搜索引擎哪些页面是可以被收录，哪些不可以。

wintersmith-robots 是一个 npm 包，可以帮助我们生成 robots.txt 文件。下面我们就来学习一下 wintersmith-robots 的使用方法。

安装

我们可以通过 npm 来安装 wintersmith-robots，执行以下命令即可：

npm install --save wintersmith-robots

配置

首先，我们需要在 wintersmith 的配置文件中添加 wintersmith-robots 插件。打开 config.json 文件，添加如下配置：

{
  "plugins": [
    "wintersmith-robots"
  ]
}

然后，在项目根目录下新建一个名为 robots.json 的文件，用来配置排除搜索引擎收录的页面。一个基本的 robots.json 文件示例如下：

{
  "User-agent": "*",
  "Disallow": [
    "/admin",
    "/test",
    "/api"
  ]
}

在 User-agent 中，我们定义了所有的搜索引擎都不应该收录 Disallow 中列出的页面。

Disallow 中可以添加多个 URL，以逗号隔开。

除了 User-agent 和 Disallow，我们还可以在 robots.json 文件中添加其他字段，如 Sitemap 和 Crawl-delay，这里就不一一赘述了。

生成

启动 wintersmith，执行如下命令即可生成 robots.txt 文件：

wintersmith build

此时，wintersmith 会在 public 目录下生成一个名为 robots.txt 的文件，文件内容就是根据 robots.json 文件生成的 robots.txt。

总结

wintersmith-robots 是一个非常方便的 npm 包，可以帮助我们快速生成 robots.txt 文件，避免一些不必要的麻烦。在使用过程中，需要注意配置文件的格式和内容。

示例代码：

{
  "plugins": [
    "wintersmith-robots"
  ]
}

{
  "User-agent": "*",
  "Disallow": [
    "/admin",
    "/test",
    "/api"
  ]
}

以上就是 wintersmith-robots 的使用教程，希望可以对你们有所帮助。

来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/6006710f8dd3466f61ffe2ac