别只看指标：AI 产品模型评估应以用户行为为准

别只看指标：AI 产品模型评估应以用户行为为准

我们曾经给一个 AI 写作工具加了个新功能：自动摘要。模型团队给了漂亮的 ROUGE 分数，比上一版高了 8%。但上线一周，用户使用率不升反降。我查了日志，发现很多用户生成摘要后，又手动删掉重写。

那一刻我意识到，我们一直在用模型指标衡量产品效果，但用户根本不关心 ROUGE。

这不是说模型指标没用。在训练和选型阶段，它们是不可或缺的。但当模型进入产品，评估的锚点应该换成用户行为。

为什么模型指标会骗人

ROUGE、BLEU、准确率这些指标，衡量的是模型输出与某个参考标准的接近程度。但产品里的"好"，是用户觉得好用、愿意用、愿意付钱。这两者经常不一致。

举几个我遇到的例子：

• 一个翻译模型，BLEU 很高，但用户反馈译文太"直"，缺少语境调整。
• 一个问答机器人，准确率 95%，但用户问的问题往往落在那 5% 的边界上，而边界问题的体验决定了他是否继续用。
• 一个摘要模型，ROUGE 很高，但摘要经常遗漏用户最关心的那个数字。

模型指标优化的是"像参考"，而用户需要的是"可用"。

从用户行为反推评估：三个步骤

我建议小团队不要一开始就搭复杂的评估平台。先用三个步骤，把评估从模型指标拉回到用户行为。

第一步：定义关键用户动作

每个 AI 功能，都对应着几个关键的用户动作。比如：

• 摘要功能：生成后是否编辑？编辑幅度多大？是否复制？
• 翻译功能：是否切换语言？是否重试？
• 聊天机器人：是否连续提问？是否在某个回答后终止对话？

这些动作不需要模型指标，只需要埋点。

第二步：设置行为阈值

对每个关键动作，设一个"正常区间"。比如，摘要功能，编辑率低于 30% 算正常；翻译功能，重试率高于 20% 就要警惕。阈值不需要精确，但要有。有了阈值，你才能在看数据时快速判断：这是噪音，还是信号。

第三步：建立反馈闭环

当行为数据偏离阈值，不要只看数据，要去看具体的用户会话。我通常的做法是：每周抽 10 个会话，看用户在做什么，卡在哪里。这个动作不需要数据分析师，产品经理自己就能做。

一个决策框架：行为异常时的优先级

当用户行为出现异常，你该先处理模型，还是先处理交互？我列一个简单的优先级：

1. 如果行为异常集中在某个特定输入类型（比如长文档、口语化表达），先查模型。
2. 如果行为异常分散在所有输入，先查交互设计，比如按钮位置、输出格式。
3. 如果行为异常伴随高流失率，立即回滚或降级，再慢慢分析原因。

这个框架不复杂，但能避免一个常见错误：一看到指标下降就重新训练模型，结果发现是页面加载慢。

小团队怎么落地

小团队资源有限，不可能养一个专门的评估团队。我的建议是：

• 不要一开始就做自动评估仪表盘。先用 Excel 或简单的 SQL 查询，把行为指标列出来，每周看一次。
• 把行为指标写进 PRD。在开发新功能时，就定义好哪些行为算"好"，哪些算"坏"。这比事后补埋点便宜得多。
• 用用户访谈补行为数据。行为数据告诉你"发生了什么"，访谈告诉你"为什么"。两者结合，才能做出正确的判断。

边界：什么时候模型指标还是重要的

最后说一句公道话。模型指标不是永远没用。在以下场景，它们依然是主要依据：

• 模型选型：对比不同基座模型时，用离线指标快速筛选。
• 回归测试：每次更新后，跑一遍离线集，确保没有退化。
• 成本控制：当你需要决定是否用更大的模型时，离线指标帮你预估收益。

但在产品上线后，请把用户行为作为最终的裁判。

产品经理不需要成为机器学习专家，但需要知道：模型指标是内部语言，用户行为是外部语言。你要做的，是把这两者翻译好。

PaxLee