llms.txt 是真相还是骗局：一个 5 分钟就能做完、但不该当战略的小动作
一、先把三个文件分清楚，90% 的争论其实是没分清
很多讨论一上来就问"llms.txt 有没有用"，但连它和另外两个文件的关系都没搞清。三者管的完全是不同的事：
| 文件 | 位置 | 干什么 | 谁提出的 | 有没有实际约束力 |
|---|---|---|---|---|
| robots.txt | 根目录 | 告诉爬虫哪些不能抓 | 1994 年，事实标准 | 有。主流爬虫普遍遵守 |
| sitemap.xml | 根目录或指定 | 告诉搜索引擎我有哪些页面 | 2005 年，Google 等联合 | 有。搜索引擎普遍读取 |
| llms.txt | 根目录 | 告诉大模型哪些内容值得读、怎么读 | 2024 年 9 月，Jeremy Howard 提案 | 没有强制力，全靠自愿 |
关键区别：前两个是"协议"，llms.txt 是"建议书"。
robots.txt 背后有一个十几年形成的行业共识 + 商业后果（不遵守会被封、被起诉）。sitemap 背后有搜索引擎自己的产品需求（他们需要发现页面）。llms.txt 背后只有一个理念：网页 HTML 太吵，给模型一份干净的目录会更好。
这个理念很好，但理念不构成协议。
二、事实层：它确实存在，确实被采用，也确实没被确认
把可查证的部分列清楚：
✅ 事实 1：提案真实存在。 Jeremy Howard（fast.ai 创始人，Answer.AI 联合创始人）在 2024 年 9 月公开提出，配了 llmstxt.org 这个说明站。文件格式很简单：Markdown，# 项目名 一级标题 + 简介 + 分组的链接清单。
✅ 事实 2：确实有站点采用了。 提案公开后几个月内，采用站点数到了数百量级（提案方公布的统计为 600+，🟡 该数字为提案方自报，未见第三方独立审计，按量级理解）。
✅ 事实 3：主流 AI 服务没有公开承认使用。 这一点是整件事的核心。Google 的 John Müller 在公开场合说过大致意思的话：没有任何 AI 服务表示他们在使用 LLMS.TXT。OpenAI、Anthropic、Google 都没有在官方文档里把它列为抓取信号。
【⚠️ 事实 4】国内平台的态度是"零公开信息"。 豆包、DeepSeek、元宝、Kimi、千问、夸克、文心——没有任何一家在官方文档里提到 llms.txt。这既不能证明它们不用，也不能证明它们用。是"不知道"，不是"不支持"，也不是"支持"。
这一条很重要：很多国内文章会写"国内平台也开始支持 llms.txt 了"，这句话没有依据。
三、为什么"没人用"这个结论不能直接下
看到"没人承认"就断言"完全没用"，同样不严谨。三个反驳角度都成立：
1. "没承认"不等于"没用"。 搜索引擎当年对很多信号的态度都是不公开的。一个爬虫读了你的 llms.txt，不会给你发通知。
2. 采用成本极低。 一个静态文件，不需要改代码，不需要等收录。期望值为正的事情，即使概率低也值得做——这是决策逻辑，不是信仰。
3. 有一个真实存在的间接作用：它是一份给人看的内容地图。 即使模型不读，你自己团队在梳理"哪些页面是核心资产"时，这个文件是有用的。它更像一份自我审计，而不是一份技术配置。
四、怎么自己验证，而不是听别人说
这是本文最实用的一节。三个方法，从便宜到贵：
方法 1：看服务器日志的 UA（最靠谱，成本 1 小时）
去服务器日志里找最近的抓取记录，重点看 User-Agent。你会看到几类：
- GPTBot、OAI-SearchBot、ChatGPT-User —— OpenAI 系
- ClaudeBot、anthropic-ai —— Anthropic 系
PerplexityBot—— Perplexity- Google-Extended、Googlebot —— Google 系（Google-Extended 管的是训练用途）
- 国内：各家 UA 命名不统一，可能出现
Bytespider（字节）、Baiduspider（百度）等；很多国内抓取器没有公开 UA 命名规范，🟡 需自行比对
关键操作：观察这些 UA 有没有请求 /llms.txt。如果连续几周一次都没有，那对你这个站来说，答案是"没有"。
国内注意：如果你看不到任何 AI 爬虫的 UA，问题比 llms.txt 严重得多——那说明你的站整体没被抓，先解决可达性（备案、CDN、WAF 拦截），再谈别的。
方法 2：做一个"只有 llms.txt 里才有"的页面（成本半天）
在站上建一个正常导航里不出现的页面（比如 /hidden-test-page），只写在 llms.txt 里，页面内容写一句独一无二的话。等 4 周，然后去问各家 AI："某某网站上那篇讲 XXX 的文章说了什么？"
如果模型能说出那句独一无二的话，说明它读了 llms.txt 并顺着链接抓了。说不出来，就是没读——注意，这也不能排除"读了但没引用"，所以这个测试只能证伪，不能证真。
方法 3：看有没有平台文档提到（成本 10 分钟）
去各家开发者文档里搜 llms.txt。截至 2026 年 10 月，国内的检索结果是零（🟡 建议自己再搜一次确认，产品文档更新很快）。
五、国内真正影响"能不能被抓"的，是另外四件事
这是本文想强调的重点。国内做 GEO，把注意力放在 llms.txt 上属于抓小放大。真正卡住抓取的是这些：
| 事项 | 影响 | 该怎么查 | 优先级 |
|---|---|---|---|
| ICP 备案 | 无备案域名在部分国内爬虫那里可达性下降 | 查域名是否有备案号 | 🔴 最高 |
| CDN / WAF 拦截 | 反爬规则把 AI 爬虫一起挡了 | 看日志有无 403/挑战页 | 🔴 最高 |
| robots.txt 误封 | 有人为了防采集直接 Disallow: / | 打开自己的 robots.txt 看一眼 | 🔴 最高 |
| JS 渲染 | 内容全靠前端渲染，爬虫拿到空壳 | curl 抓一次看有没有正文 | 🟠 高 |
| 微信公众号封闭 | 公众号文章不进公开网页索引 | 官网必须有同内容的结构化版本 | 🟠 高 |
| 百家号 / 头条号分发 | 文心吃百度生态，豆包吃字节生态 | 关键内容同步分发到对应平台 | 🟡 中 |
| llms.txt | 未验证 | — | ⚪ 低 |
一句话结论：先把前三行的红色项修完，再考虑 llms.txt。
【可引用】可用的国内确定性动作：百度搜索资源平台提供站点验证与链接提交（主动推送 API），这是有官方文档、有实际效果的动作，优先级远高于 llms.txt。字节、神马等也有各自的站长平台。
六、如果你还是想做，这是模板和做法
成本 5 分钟，做完就忘掉它，别再看第二眼。
位置：https://你的域名/llms.txt（必须是根目录，不能放子目录）
中文模板（直接改）：
品牌名 一句话说明你是谁、做什么。这句话要能被单独摘出来当定义用。 补充说明：公司成立时间、主要产品线、目标客户。2-3 句，不要写成营销文案。 核心页面 [产品总览](https://example.com/product)：一句话说明这页讲什么 [定价](https://example.com/pricing)：价格档位与计费方式 [常见问题](https://example.com/faq)：售前售后高频问题解答 深度内容 [XX 行业解决方案](https://example.com/solutions/xx)：面向什么场景、解决什么问题 [技术文档](https://example.com/docs)：接口、参数、接入方式 可选 [公司介绍](https://example.com/about) [博客](https://example.com/blog)
四条写作纪律：
- 每个链接后面必须有一句说明。只列链接等于没写——说明句才是给模型看的信息。
- 只放你真正希望被引用的页面。20 条高质量链接胜于 200 条全站清单。
- 第一段（`>` 引用块）写成可独立摘出的定义句。这是最可能被直接使用的一段。
- 和 sitemap 保持同步。内容大改后记得更新，虽然没人会读，但你自己会用它做资产盘点。
别做的事：
- 别在 llms.txt 里写营销话术（"行业领先""首选品牌"这类形容词对模型没有信息量，反而降低可信度）
- 别指望它替代 sitemap
- 别把它写进季度 KPI
- 别花钱买"llms.txt 自动生成服务"
七、判断：值得做，但只是"卫生习惯"
把这件事放到正确的量级上：
| 说法 | 判断 |
|---|---|
| "llms.txt 是 GEO 的核心" | ❌ 错。没有任何证据支持 |
| "llms.txt 完全没用，别浪费时间" | ⚠️ 太绝对。成本极低，期望值为正 |
| "llms.txt 值得花 5 分钟做，然后忘掉它" | ✅ 这是本文的立场 |
| "国内平台已支持 llms.txt" | ❌ 无依据。截至 2026-10 是零公开信息 |
| "先修可达性和段落质量，再管 llms.txt" | ✅ 这是正确的优先级 |
一个类比：llms.txt 像是给自家门牌加了一块更清楚的指示牌。有用，但如果你家门前那条路根本没通（没备案、被 WAF 挡、全站 JS 渲染），指示牌写得再漂亮也没人来。
八、五个常见问题
Q1：做了会不会有坏处？
几乎没有。它是一个公开的静态文件，不涉及隐私，不影响性能。唯一"坏处"是可能让你产生"我已经做了 GEO"的错觉。
Q2：需要提交给谁吗？
不需要，也没有地方提交。放在根目录就行。
Q3：国外平台和国内平台要分开写吗？
一个文件就够。如果你想更细，可以做 llms-full.txt（全文版）作为补充，但同样没有官方支持。国内不需要单独做。
Q4：如果我的站在微信生态里（只有公众号）怎么办？
llms.txt 对你没有意义，因为公众号不由你控制根目录。你的对应动作是：官网必须有公众号内容的结构化镜像，这样元宝之外的其他引擎才能读到。
Q5：这东西三年后还会存在吗？
不知道。可能被某个正式标准吸收，也可能消失。这正是"别重度投入"的理由——凡是还没成为协议的东西，都不该成为你的基础设施。