robots.txt 里该放行哪些 AI 爬虫

很多站为了“保护内容”，在 robots.txt 里把带 GPT 的爬虫全挡了。结果是训练不进，搜索也搜不到。

两个爬虫，各管一件事

GPTBot 抓取内容用于训练模型；OAI-SearchBot 负责让内容出现在 ChatGPT 的搜索答案里。两者互不影响，可以只放行后者。

怎么写

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

改完用浏览器直接打开 /robots.txt，确认返回的是这份文件，而不是首页兜底。