如果你常常开发网站，并关注搜索引擎优化 (SEO) 的话，你应该知道机器人协议文件 (robots.txt) 是一个非常重要的文件。通过使用 robots.txt 文件，你可以控制搜索引擎如何抓取你的网站内容。但是，生成 robots.txt 文件并不是一件很容易的事情，尤其是在前端开发时。这时我们可以使用 npm 包 robotstxt-webpack-plugin ，它可以在打包后帮助我们生成合法的 robots.txt 文件，并自动添加到项目的根目录下。
安装
你可以使用 npm 或者 yarn 来安装 robotstxt-webpack-plugin 包。
使用 npm：
--- ------- ------------------------ ----------
使用 yarn：
---- --- ------------------------ -----
示例代码
这里有一个基本的 Webpack 配置，我们将 robotstxt-webpack-plugin 添加到这个配置中。
----- --------------- - ------------------------------------
-------------- - -
-- -----
-------- -
--- -----------------
-- ---------- -----
------- -
-
---------- ----
------ ----
--------- -----------
-
--
-------- ----------------------------------
----- ---------------------
--
-
-配置选项
下面是 robotstxt-webpack-plugin 的配置选项和含义。
policy
规定哪些搜索引擎可以访问网站的哪些内容。该选项的值是一个数组，每个元素代表一个设置项。设置项包含以下字段：
userAgent：一个字符串，指定搜索引擎的 User-Agent。通配符*表示所有搜索引擎。allow：一个字符串或者数组，规定搜索引擎可访问的 URL 路径。通配符*表示所有路径。disallow：一个字符串或者数组，规定搜索引擎不可访问的 URL 路径。通配符*表示所有路径。
示例：
------- -
-
---------- ------------
------ ----
--------- -----------
--
-
---------- --------------
------ ----
--------- ------------- ----------
--
-
---------- ----
------ ----
--------- -----------
-
-sitemap
一个字符串，代表网站的 sitemap.xml 文件的地址。例如：
-------- ---------------------------------
host
一个字符串，代表网站的基础 URL。例如：
----- ---------------------
结语
使用 robotstxt-webpack-plugin 可以轻松生成合法的 robots.txt 文件，同时也方便我们控制搜索引擎对网站的访问。希望这篇文章能够帮助你更好地使用该 npm 包，提高你的网站 SEO。
来源：JavaScript中文网 ，转载请联系管理员！ 本文地址：https://www.javascriptcn.com/post/5eedb735b5cbfe1ea061177a