别信ROUGE：AI产品评估应从用户行为反推

一次让我警醒的评估失败

几年前我负责一个AI写作辅助产品。上线前，我们在测试集上跑了ROUGE-L、BLEU-4，分数都不错——0.65和0.42，在同类任务里算中上。团队信心满满，觉得上线后用户会喜欢。结果呢？留存曲线第一周就跳水，用户抱怨“写出来的东西没法用”。

离线指标和用户感知之间的鸿沟，比我想象的大得多。

为什么传统指标会骗人

ROUGE和BLEU这类指标，本质是n-gram匹配。它们擅长捕捉关键词和短语的重叠，但对语义一致性、语气连贯性、信息准确性几乎不敏感。一个翻译任务可能ROUGE很高，但翻译结果可读性很差；一个摘要任务可能命中所有关键实体，但逻辑一团糟。

更致命的是，这些指标对“用户真正需要什么”一无所知。用户在AI写作产品里，要的是“减少修改次数”还是“获得灵感”？不同场景答案完全不同。指标漂亮，不代表业务成功。

一个替代框架：从用户行为反推模型质量

我后来总结了一个三步法，专门解决小团队没有大量人工标注时的评估问题。

第一步：定义业务关键行为

不要从模型输出质量开始想，而是问：用户完成目标了吗？

• 对于写作助手：用户是否点击“插入”按钮？插入后是否又删改超过三次？
• 对于语言学习App：用户是否完成了当天的学习计划？是否重复同一课？
• 对于客服问答：用户是否在第一次回答后结束了对话？还是继续追问？

这些行为直接关联业务价值。用一个矩阵把关键行为和可能的模型问题对应起来。例如：

第二步：建立从行为到模型输出的映射

拿到行为数据后，需要反向诊断模型哪个环节出了问题。这步不需要复杂统计模型，用简单的分组对比就行。

假设我们把用户分成两组：A组（插入后未修改的满意用户）和B组（插入后多次修改的不满用户）。分别提取他们使用时的模型输出，对比两者在句子长度、句式复杂度、主题覆盖率等维度的分布。如果B组的句子平均比A组长30%，那可能是模型产出过长，需要截断或压缩。

不需要人工标注，只需要从行为日志中反向标记“好输出”和“坏输出”，然后统计差异。

第三步：设计轻量级线上评估仪表盘

离线指标继续保留（用来做回归测试），但上线后每天看的应该是行为指标仪表盘。

我通常只关注三个数字：
1. **用户采纳率**：用户在生成结果后，主动使用（复制、插入、保存）的比例。
2. **二次修改率**：使用后用户是否调整了输出内容。如果修改率超过50%，说明输出方向有偏差。
3. **任务完成度**：用户是否完成了核心动作链（比如写完一篇文章→点击“发布”）。

这三个数字结合起来，比任何ROUGE更能反映模型好不好用。

一个假设案例：AI音乐推荐

假设我做了一个AI音乐推荐系统。离线指标是“推荐歌曲的点击率”，有0.18，看起来不错。但用户整体留存不高。

按照三步法：

• 第一步：发现关键行为是“用户听完一首歌后是否加入收藏或下一个推荐”。如果听完就切走，说明推荐没击中喜好。
• 第二步：对比高收藏用户和低收藏用户的推荐列表，发现低收藏组的推荐歌曲风格单一，可能因为模型过于拟合历史行为，导致信息茧房。
• 第三步：仪表盘监控“用户连续跳过的次数”和“每次跳过后的新歌是否与前一首风格不同”。

这样就能快速定位问题，而不是盲目调模型。

适用边界与注意事项

这个框架依赖用户行为数据。如果你的产品处于未上线或冷启动阶段，没有真实用户，可以用人工模拟测试，但成本很高。另外，行为指标可能被噪音干扰（例如网络问题导致操作失败），需要配合简单的数据清洗。

另一个陷阱：只关注行为指标可能导致模型迎合短期点击行为，而牺牲长期价值（比如推荐猎奇内容）。所以每季度应该做一次一次性的用户满意度调研，作为校准。

最后

AI产品评估，本质上不是模型问题，而是用户问题。离线指标是开发阶段的信号灯，但上线之后，唯一有效的评估是用户的行为反馈。小团队资源有限，更应该用低成本的行为信号替代昂贵的人工标注，把精力花在真正影响留存和付费的地方。

PaxLee