基线测试与失败归因：怎么设计一次能拿结论的测试
一、先说一个坏消息：单次查询没有信息量
大语言模型的输出带随机性。同一个问句、同一个平台、隔十分钟问两次，答案可能：
- 列举的品牌数量不同（8 个 vs 5 个）
- 顺序不同（你从第 3 变第 6）
- 措辞不同（"值得考虑" vs "比较推荐"）
- 甚至有的提你、有的不提
这意味着两件事：
- "我昨天问豆包，它没提我们"不是结论，是噪声。
- 任何不重复取样的"测试"，都不能用来做决策。
更麻烦的是，这个随机性有个特点：结构稳定，细节波动。它每次都会给你一个"分类清单 + 若干品牌 + 优缺点"的结构，但里面的具体品牌和顺序会变。
所以正确的做法不是"消除随机"，而是用重复取样把信号从噪声里提出来。
二、取样设计：一个公式
观测次数 = 问句数 × 平台数 × 每个组合的重复次数
重复次数的最低要求是 3 次。为什么是 3：
- 1 次：纯噪声
- 2 次：只能看出"是不是每次都提"，分不出程度
- 3 次：能得到 0/1/2/3 的稳定度评分（3 次中提了几次）
- 5 次以上：边际收益快速下降，成本线性上升
三档方案，按预算选：
| 档位 | 问句 | 平台 | 重复 | 总次数 | 适合谁 | 耗时 |
|---|---|---|---|---|---|---|
| 最小可行 | 10 | 3 | 3 | 90 | 刚开始、验证方向 | 半天 |
| 标准 | 30 | 5 | 3 | 450 | 有明确预算的项目 | 2–3 天 |
| 完整 | 60 | 6 | 3 | 1080 | 代理商用、季度复盘 | 一周 |
成本提示：如果用 API 批量跑，成本主要是 token；如果人工问，450 次大约需要 6–8 小时（含记录）。建议先用最小可行档跑一轮，看到信号再升级。
【待核验】不同平台的答案稳定性不一致，有的偏稳定（同问句答案结构高度相似），有的波动大。3 次是经验值下限，如果你的行业问句波动特别大，建议加到 5 次。
三、12 个必记字段（少一个就做不成归因）
不要只记"提没提"。这些字段决定了你后面能不能定位问题：
| # | 字段 | 取值示例 | 为什么必须记 |
|---|---|---|---|
| 1 | 问句 ID | Q017 | 便于追踪同一问句的变化 |
| 2 | 问句原文 | "200 平车间该配多大空压机" | 防止中途改问句导致数据不可比 |
| 3 | 意图分类 | 选择 / 对比 / 认知 / 交易 / 售后 | 分组分析的基础 |
| 4 | 平台 | 豆包 | 平台差异是最大的变量 |
| 5 | 时间戳 | 2026-10-20 14:30 | 平台更新会造成整体漂移 |
| 6 | 第几次重复 | 第 2 次 | 用于计算稳定度 |
| 7 | 是否提及本品牌 | 是 / 否 | 核心指标 |
| 8 | 位次 | 4 | 列举型答案里的位置 |
| 9 | 情感 | 正面 / 中性 / 负面 / 未评价 | 口碑层指标 |
| 10 | 答案里提到的竞品 | A、B、C | 零成本竞品监测 |
| 11 | 答案引用的来源 | 知乎某回答、某媒体 | 定位该攻哪几个源 |
| 12 | 场景是否匹配 | 匹配 / 错配 | 发现"被提到但位置错"的问题 |
第 10 和 11 这两个字段最容易被忽略，但价值最高。
- 第 10 个字段让你免费获得一份竞品可见度报表——你本来就要看答案，顺手记下来
- 第 11 个字段直接告诉你"该去哪个平台投放内容"。如果 5 个答案里有 4 个引用了知乎，那知乎就是你的主战场，不用猜
四、四种失败桶：先归因，再动手
这是整篇最核心的部分。同样是"没被提到"，原因可能完全不同，修法也完全不同。
| 桶 | 现象 | 判据 | 该修什么 | 不该做什么 |
|---|---|---|---|---|
| A. 没被检索 | 所有平台、所有重复都不提你 | 站点没被抓 / 平台不覆盖这个池子 / 内容压根不存在 | 可达性、收录、选对池子 | 改文案（没用） |
| B. 检索到但没被选 | 偶尔出现（1/3 次），或者只在长尾问句出现 | 有提及但不稳定；同问句换了词就有 | 段落相关性、答案形态 | 加关键词密度 |
| C. 被提及但说法错 | 提了，但参数/价格/定位不对 | 提到的是旧信息、竞品信息、或错位场景 | 事实更新、实体明确、纠错 | 重写整页 |
| D. 被提及但被负面框架 | 提了，但配的是负面评价 | 答案里出现"也有用户反映……" | 补正面证据（不是删负面） | 删帖、投诉（无效且有风险） |
判断流程（照着走）：
第一步：六个平台都不提？ ├─ 是 → 查服务器日志有没有 AI 爬虫 UA │ ├─ 没有 → A 桶（可达性问题，先修这个） │ └─ 有 → 查目标问句是不是真有人问（问客服） │ └─ 没人问 → 问句选错了，换问句 └─ 否 → 第二步：只有 1-2 个平台提？ ├─ 是 → 平台池子问题（A 桶变体）：你缺某个生态的内容 └─ 否 → 第三步：同问句重复 3 次只提 1-2 次？ ├─ 是 → B 桶（段落相关性不足） └─ 否 → 第四步：提了但内容不对？ ├─ 是 → C 桶（事实层） └─ 否 → D 桶（口碑层）
这张流程图的价值：它能把 80% 的"感觉没效果"变成具体的、可修的问题。大部分团队跳过这一步直接改文案，这是最常见的浪费。
五、改写实验：一次只动一个变量
改完之后怎么知道有没有效？问题在于：你改了内容，但平台也在更新模型，市场也在变。 怎么区分是你的功劳？
实验设计四原则
原则 1：单变量。
一次只改一类东西。同时改标题、加数字、换结构，你不知道哪个起效。建议顺序：先改"段落自足性"（加主语、删代词），再改"证据密度"（加数字口径），最后改"结构"（改问句小标题）。
原则 2：留对照组。
选 5 条问句做改写实验，另选 5 条同类型、同价值的问句完全不动，作为对照。如果改的那组涨了、没改的那组没涨，才能说有效。
原则 3：固定竞品段落。
每次测试都用同一段竞品内容做参照。这样即使平台整体变了，你也能看出"相对位置"有没有改善。
原则 4：观察 4 周。
不是 4 天。原因：AI 检索有缓存，内容更新到被检索到通常需要几天到两周；加上随机性，一周内的变化无法区分信号和噪声。
4 周实验模板
| 周次 | 动作 | 观测 |
|---|---|---|
| W0 | 建立基线：10 条实验问句 + 5 条对照问句 × 3 平台 × 3 次 | 记录 12 字段，算出提及率、位次 |
| W1 | 改写实验组的 5 个目标段落（只改段落自足性） | 不动对照组的任何内容 |
| W2 | 第一次复测（同问句、同平台、同重复次数） | 对比实验组 vs 对照组 |
| W3 | 若实验组有改善，再叠加第二个变量（证据密度）；若无改善，回滚并换假设 | 记录变化 |
| W4 | 第二次复测 + 出结论 | 实验组提升幅度 vs 对照组提升幅度 |
判断标准：
- 实验组提升 > 对照组提升，且差距 ≥ 10 个百分点 → 有效
- 两组同步变化 → 是平台或季节因素，不是你的功劳
- 实验组下降 → 回滚，换假设（很可能是改错了方向，比如把答案改得更绕了）
【待核验】内容更新到被 AI 检索到的时滞，各家未公开。经验上官网内容 3–14 天，第三方平台内容更久。这意味着 4 周可能不够，某些行业需要 6–8 周。
六、五个统计陷阱（每一个都会让你得出错误结论）
陷阱 1：样本太小。
"我改了 3 条问句，2 条涨了"——这不是结论，是运气。最低 10 条问句起。
陷阱 2：时间混淆。
春节前后的问句分布完全不同（"送礼"类暴涨）。跨节假日对比，等于把季节效应当成了你的成果。
陷阱 3：平台更新。
平台换模型版本会导致整体答案漂移，可能让所有品牌一起涨或一起跌。解法：始终看相对位置（你 vs 竞品），不看绝对值。
陷阱 4：问句漂移。
中途改了问句措辞，前后数据就不可比了。问句一旦定下，整个实验周期内一个字都不能改。
陷阱 5：选择性记录。
只记"提了"的那几次，忘了"没提"的那几次。必须全量记录，包括 0。 这是最容易犯的错，因为它让人自我感觉良好。
七、基线报告的写法
一次基线测试做完，交付物应该是这样一页（不要做花哨的仪表盘）：
【XX 品牌 AI 可见度基线报告】 测试时间：2026-10-01 至 2026-10-03 测试范围：10 条核心问句 × 3 平台（豆包/DeepSeek/元宝）× 3 次 = 90 次 取样方式：人工提问，全量记录 一、总体 提及率：23%（21/90） 覆盖平台：2/3（元宝、DeepSeek 有提及；豆包 0） 二、分平台 豆包 0% —— 无任何提及，疑为抓取问题 DeepSeek 60% 平均位次 5.4 元宝 10% 平均位次 7.0 三、分意图 认知类（是什么） 40% 选择类（哪个好） 10% ← 最大缺口 交易类（多少钱） 0% ← 完全缺失 四、答案里高频出现的来源（按出现次数） 知乎 xxx 回答 7 次 XX 行业网 5 次 XX 公众号 3 次 → 结论：主攻知乎和行业网 五、初步归因 豆包 0 提及 → A 桶（未检索）：站点日志无 Bytespider 记录，需先解决可达性 选择类问句低 → B 桶（段落弱）：产品页无对比表和判据 交易类 0 → C 桶（无内容）：全站没有价格信息 六、下一步（4 周） 修可达性（备案/CDN 排查） 产品页加"判据 + 对比表" 上线价格页（含口径）
为什么这个格式好：每一节都指向一个动作。老板看完知道钱花在哪，执行的人看完知道今天做什么。
八、四个常见问题
Q1：一定要人工问吗？能不能用 API 批量？
能，而且更准（API 无 UI 差异）。但要注意两点：① 有些平台的 API 和 App 端检索能力不同，结论可能不可比 ② API 成本要算清。建议：基线用人工（可信度优先），日常监测用 API（频率优先）。
Q2：问句从哪里来？
优先级：客服真实记录 > 销售异议 > 站内搜索词 > 知乎高赞问题 > 百度下拉。不要从关键词工具里选——那些是搜索词，不是提问方式。
Q3：竞品要不要一起测？
必须。没有竞品对照，你无法区分"我变好了"和"平台整体变了"。而且竞品数据是零成本的，你在看答案时顺便记下来就行。
Q4：测出来很差，要不要隐瞒？
千万不要。基线差是正常的——国内大部分品牌第一次测都在 20% 以下。基线的价值不是好看，是给你一个真实的起点。 隐瞒基线，等于放弃后面所有的说服力。