robots.txt 配置教程：语法规则与常见误区详解
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9066e1f6292c.html
📄
robots.txt 是一个放置在网站根目录的纯文本文件，用来向搜索引擎爬虫说明哪些路径可以访问、哪些应当回避。它管理的是爬虫的抓取行为，而非页面能否进入索引。一份配置合理的 robots.txt 可以帮助搜索引擎聚焦重要内容，提高抓取效率；反之，则可能让关键网页长期无法被收录，甚至干扰整站的权重传递。这篇文章会从语法基础入手，逐步解析常用规则，并指出一些容易被忽视的陷阱。
1. 认清 robots.txt 的边界：它是协作约定，不是安全工具
首先要理解，robots.txt 仅对遵守该协议的搜索引擎爬虫有效，比如谷歌的 Googlebot、必应的 Bingbot。对于恶意抓取工具或不守规矩的脚本，它没有任何约束力。所以，任何涉及用户隐私、登录状态或交易数据的目录，都必须依赖服务端的权限校验、IP 白名单等硬性手段来保护，绝不能把 robots.txt 当作安全屏障。
另一个常见的错误观念是“禁止抓取”等于“禁止收录”。事实上，robots.txt 只决定爬虫是否发出抓取请求，而页面是否出现在搜索结果中，是由页面内的 noindex 元标签等索引指令来控制的。如果用 Disallow 屏蔽了一个 URL，但该地址被其他网站链接，搜索引擎仍可能将其录入索引，只是无法抓取内容。若想彻底阻止页面被收录，应在页面 HTML 的 head 区加入 noindex 标签。
2. 语法要点：字段构成与匹配机制
robots.txt 由若干“规则组”构成，每组以 User-agent 开头，组内可包含多条指令。每条指令的写法是“字段名: 值”，冒号后的空格建议保留，字段名统一用小写字母，这样可以减少不同解析器的兼容性问题。
2.1 归属明确：User-agent 决定规则对象
User-agent 用于指定该组规则对哪个爬虫生效。例如 User-agent: Googlebot 表示该组仅适用于谷歌爬虫；User-agent: * 则表示适用于所有未被单独指定的爬虫。推荐的配置方式是先用 User-agent: * 设定全站默认规则，再为 Googlebot 等特定爬虫追加一组针对性更强的限制。
2.2 许与禁止：Allow 和 Disallow 的优先级
Disallow 用来禁止访问某路径，Allow 则用来允许访问。若 Disallow 后不填内容，即 Disallow:，则表示解除该组规则的所有限制，允许抓取全站。当一条 URL 同时命中 Allow 与 Disallow 时，搜索引擎按“最长匹配优先”原则处理：谁的路径更长、更具体，谁就生效。举例来说，若同时存在 Disallow: /api/ 与 Allow: /api/public/，因为后者的匹配前缀更长，所以 /api/public/ 下的资源依旧可以被抓取。
2.3 辅助指令：Sitemap 与 Crawl-delay
Sitemap 指令用来向爬虫声明站点地图的完整地址，例如 Sitemap: https://example.com/sitemap.xml。它能缩短爬虫发现新链接的时间，加速新内容的收录。Crawl-delay 指令则用于设置爬虫两次抓取之间的间隔时间，以秒为单位，例如 Crawl-delay: 5。不过要注意，谷歌官方已不再支持该指令，它主要用于 Yandex 或百度等部分爬虫。
3. 书写规范与常见语法疏漏
robots.txt 的语法看似简单，但书写时很容易出现细节问题。以下几条规范值得留意：
- 文件必须命名为 robots.txt 并置于网站根目录，否则爬虫无法识别。
- 每条指令占一行，行末不能有空格，否则可能导致解析失败。
- 规则组之间用空行隔开，同组内不要留空行，以免被拆分为多个独立组。
- 路径区分大小写，/About 和 /about 被视为不同路径。
- 注释以 # 开头，只能单独占一行，不能写在指令行末尾。
一个典型的错误示例是：Disallow: /private/ # 禁止访问。这里的注释被视为路径的一部分，导致规则失效。正确的写法是将注释单独放在一行，即先写 # 禁止访问，再另起一行写 Disallow: /private/。
此外，使用通配符时也要谨慎。* 代表任意字符，$ 代表匹配路径结尾。例如 Disallow: /*.pdf$ 可以屏蔽所有 PDF 文件。但滥用通配符可能造成意外屏蔽，建议在测试环境中先用爬虫模拟工具验证。
4. 实际配置策略与验证方法
配置 robots.txt 的核心思路是“只屏蔽该屏蔽的”，不要过度限制。常见的屏蔽场景包括：后台管理目录（如 /admin/）、临时页面、重复参数页、无搜索价值的动态 URL 等。对于这些路径，屏蔽可以避免爬虫浪费抓取配额。
配置完成后，务必进行验证。可以使用搜索引擎官方的 robots.txt 测试工具，它能模拟指定爬虫的解析结果，并显示匹配的具体规则。测试时重点检查两点：一是关键页面是否被意外屏蔽；二是屏蔽规则是否按预期生效。例如，把主页 / 误设为 Disallow，会导致整个网站无法被抓取，这类错误在实站上线前必须排除。
5. 常见问题
5.1 问题一：Disallow 后面的值要加斜杠吗？
建议加。斜杠用于表示目录。例如 Disallow: /folder/ 表示屏蔽该目录及所有子路径，而 Disallow: /folder 则会同时匹配 /folder.html 这类前缀相同的文件，容易造成误伤。
5.2 问题二：robots.txt 能阻止搜索引擎收录页面吗？
不能完全阻止。它会阻止爬虫抓取页面，但若该页面被外部链接引用，搜索引擎仍可能将其收录，只是以摘要等形式呈现，没有正文内容。要彻底禁止收录，应在页面中使用 noindex 元标签。
5.3 问题三：修改 robots.txt 后需要等多久才生效？
一般来说，搜索引擎会在下一次抓取时重新读取该文件，通常在 24 到 48 小时内生效。但抓取频率受站点权重和更新频率影响，低权重站点可能需要更长时间，建议耐心等待并关注日志中的爬虫请求记录。
6. 总结
robots.txt 是站点抓取管理的重要工具，但它既不负责安全，也不直接控制收录。配置时应遵循最小化原则，只屏蔽确实无需抓取的内容，并严格控制通配符与注释的使用。每次改完后，利用搜索站长平台的测试工具进行验证，重点确认关键页面没有被误拦。做好这份“访问指南”，可以让搜索引擎把有限的抓取资源花在更有价值的页面上，为站点收录和排名打下稳定基础。
