robotstxt 是什么？一文讲清 robots.txt 作用与写法

📍 WDQWDWQD987AAAAA:216.73.217.8
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /eba730e96e28.html
📄

robotstxt（即 robots.txt）是放在网站根目录下的纯文本协议文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应该避开。它虽然简单，却是网站 SEO 与抓取管理的基础配置。

robots.txt 的核心作用

爬虫访问站点时，会先读取 https://example.com/robots.txt，再按规则决定抓取路径。合理配置能减少无效抓取、保护后台目录、引导爬虫优先访问重要内容。需注意：robots.txt 是建议性协议，不能阻止恶意爬虫，也不应依赖它隐藏敏感信息。

基本写法与示例

• User-agent：指定目标爬虫，* 代表所有爬虫
• Disallow：禁止抓取的路径
• Allow：在禁止范围内开放特定路径
• Sitemap：声明站点地图地址

示例：

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

常见误区与优化建议

1. 误用 Disallow 屏蔽 CSS、JS，影响搜索引擎渲染理解。
2. 用 robots.txt 屏蔽整站，导致索引被逐步移除。
3. 规则冲突时，爬虫通常以更具体的 Allow 优先。

建议上线前用搜索引擎的 robots.txt 测试工具验证，并定期检查文件是否可正常访问。把 robotstxt 与 sitemap、canonical 配合使用，才能让抓取与索引更高效。