AI 搜索为什么读不到你的产品页？
很多外贸官网的产品页，在浏览器里看一切正常：图片、参数表、询价按钮都在。换成 AI 爬虫来看，页面上几乎什么都没有。
AI 爬虫是怎么看网页的
Google 的爬虫会像浏览器一样运行网页里的 JavaScript，再读取页面内容。ChatGPT、Claude、Perplexity 用的爬虫大多不这么做，它们只读服务器最初返回的那份 HTML。Vercel 在 2024 年底统计过一个月的爬虫流量：GPTBot、ClaudeBot、PerplexityBot 都会下载脚本文件，但不执行。
产品参数要等脚本运行后才出现，在 AI 爬虫眼里，这一页就是空的。
三步自查
- 打开产品页，右键选“查看网页源代码”（不是“检查”）。
- 在源代码里搜一个产品参数，比如型号或功率。
- 搜不到，说明这段内容是脚本后来加上去的。
常见的三种情况
| 情况 | 在 AI 眼里 | 怎么改 |
|---|---|---|
| 整站是单页应用（Vue、React 在浏览器里渲染） | 几乎是空页 | 改成服务端渲染或预渲染 |
| 参数表用脚本从接口加载 | 只有标题，没有参数 | 把参数直接写进 HTML |
| 产品介绍做成了长图 | 一个字都读不到 | 关键参数写成文字，图片配上 alt |
顺手检查 robots.txt
正文写在 HTML 里了，robots.txt 却挡住了 AI 搜索的爬虫，也是白搭。想出现在 ChatGPT 的搜索答案里，要放行 OAI-SearchBot；GPTBot 是训练用的，放不放行可以自己决定，两者互不影响。
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /不想自己查？用免费体检：粘贴网址，30–60 秒出报告，会逐页对比源码里和浏览器里能读到多少字。 现在体检 →