robots.txt 是爬虫访问约定，不是安全控制。它适合声明哪些路径允许抓取，但不能阻止不遵守协议的访问者，也不能保护敏感信息。
先按用途分类
AI 相关访问大致可以分为搜索或检索索引、用户触发取回以及模型训练。相同厂商可能使用不同令牌承担不同用途，因此企业应该阅读厂商文档后逐类决策，避免因为拒绝训练用途而误伤搜索可见性。
一个保守的基础配置
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/Sitemap: https://example.com/sitemap.xml
公开内容可以允许抓取；后台、账户、搜索结果参数和内部接口应按实际情况排除。任何包含个人数据、密钥或商业机密的资源都必须通过身份验证保护，不能依赖 robots.txt。
为什么只看 robots.txt 不够？
CDN、WAF、机器人防护和限流可能覆盖 robots.txt 的声明。常见问题包括返回 403、验证码页面，或状态码为 200 但正文被替换。审计时应使用不同 User-Agent 请求真实页面，并核对服务器日志。
变更流程
- 记录允许和拒绝的业务理由。
- 在测试环境验证规则匹配。
- 上线后分别请求 robots.txt 和代表性页面。
- 检查 sitemap 中 URL 是否仍可访问。
- 保留变更日期，并在站点迁移或 WAF 调整后复测。
不要做什么
不要在不了解用途时复制网络上的整段封禁清单；不要把 robots.txt 当作版权或访问授权系统；不要声称放行某个爬虫就一定获得引用。