robots.txt 入门：作用、写法与常见错误

📍 WDQWDWQD987AAAAA:216.73.216.193
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /aaa412930c71.html
📄

robots.txt 是网站与搜索引擎爬虫之间最基础的沟通文件。它放在网站根目录下，用纯文本告诉爬虫哪些页面可以抓取、哪些应当避开。正确配置 robots.txt，既能保护后台与隐私页面，也能减少无效抓取，提升站点抓取效率。

robots.txt 的作用与原理

当爬虫访问一个站点时，会先请求 /robots.txt，读取其中的规则后再决定抓取范围。它遵循 REP（Robots Exclusion Protocol）约定，主要包含 User-agent、Disallow、Allow 和 Sitemap 等指令。需要强调：robots.txt 是建议性协议，并非安全屏障，恶意爬虫可以无视它，敏感数据应通过登录与权限控制保护。

常见写法示例

• 禁止全站抓取：User-agent: * 配合 Disallow: /
• 允许全站抓取：User-agent: * 配合 Disallow: 留空
• 屏蔽特定目录：Disallow: /admin/ 与 Disallow: /tmp/
• 声明站点地图：Sitemap: https://example.com/sitemap.xml

规则按最长匹配优先，Allow 可覆盖 Disallow。修改后应使用搜索引擎官方工具测试，确认生效。

常见错误与注意事项

1. 把 robots.txt 放在子目录，导致爬虫读取不到。
2. 误用 Disallow: / 屏蔽全站，造成页面从索引中消失。
3. 用 robots.txt 隐藏机密文件，反而暴露路径。
4. 忘记配置 Sitemap，降低新页面发现速度。

建议定期检查 robots.txt 是否返回 200 状态码、是否被 CDN 或防火墙拦截，并在改版上线前进行抓取测试。合理使用 robots.txt，是 SEO 基础工作中不可忽视的一环。