在开发网站时，常常需要向搜索引擎指示哪些页面可以被抓取，哪些页面不可以被抓取。这个时候，就需要用到 Robot.txt 文件。本篇文章将详细介绍如何为 Express.js 应用程序配置 Robot.txt 文件。
什么是 Robot.txt 文件
Robot.txt 是一个文本文件，告诉爬虫应该抓取哪些页面，哪些页面不应抓取。它告诉搜索引擎爬虫用户可以在哪些页面发现哪些内容。
在 Robot.txt 文件中，您可以：
- 指出网站上哪些页面应由搜索引擎爬虫抓取；
- 指出网站上哪些页面不应由搜索引擎爬虫抓取；
- 指出搜索引擎爬虫应抓取网站的哪些目录。
如何在 Express.js 应用程序中配置 Robot.txt 文件
在 Express.js 应用程序中，我们可以使用 express-robots-txt 中间件来生成 Robot.txt 文件。它会根据我们的配置来生成文件，文件内容会直接响应给爬虫。
以下是示例代码：
-- -------------------- ---- ------- ----- ------- - ------------------- ----- ------ - ------------------------------ ----- --- - ---------- -- -- ------------------ --- ---------------- ---------- ---- --------- --------- ---- -- ----- ---------------- -- -- - ------------------- -- ------- -- ---- ------- ---
在这个例子中，我们设置了 UserAgent 和 Disallow。
UserAgent 表示爬虫的名称，* 表示适用于所有爬虫。
Disallow 表示需要拒绝的访问路径。在这个例子中，我们设置了 /admin 路径不被爬虫访问。
总结
在本篇文章中，我们学习了什么是 Robot.txt 文件，以及如何在 Express.js 应用程序中配置它。
使用 express-robots-txt 中间件可以方便地配置 Robot.txt 文件。我们可以通过设置 UserAgent 和 Disallow 来告诉搜索引擎爬虫应该怎样访问我们的网站。
Robot.txt 文件是一个非常有用的工具，能够帮助我们控制搜索引擎爬虫的访问。希望这篇文章能对你有所帮助。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/647d8d1a968c7c53b0856b57