推荐系统里有一种很常见的兴奋:新模型的 AUC 提升了,于是大家自然期待线上指标也跟着上涨。遗憾的是,离线指标和线上收益之间从来不是简单映射。
离线评估回答的是“在这份历史数据和这套定义下,模型是否更接近标签”。线上系统面对的却是会被模型反过来影响的用户、内容和流量分配。两者之间隔着数据生成过程。
先检查数据是怎样来的
一次可信的离线比较,至少需要回答以下问题:
- 训练集和验证集是否按时间切分?
- 同一用户或同一内容是否跨集合泄漏?
- 负样本是自然曝光未点击,还是额外采样得到?
- 标签窗口是否完整,延迟反馈是否被遗漏?
- 样本是否只来自旧策略已经选择过的内容?
最后一个问题尤其重要。日志只记录旧系统愿意展示的内容,新模型在未曝光区域的能力很难仅靠这些数据判断。
不要让一个指标承担所有工作
AUC 衡量整体排序能力,但它对头部位置未必足够敏感。NDCG、MRR 或 Precision@K 更接近有限展示位上的排序质量;校准误差则回答预测概率能不能被下游策略使用。
指标选择应该跟模型的实际职责一致:
| 模型职责 | 更值得关注的信号 |
|---|---|
| 粗排筛选 | Recall@K、覆盖率、延迟 |
| 精排排序 | NDCG、分桶 AUC、头部位置变化 |
| 点击率预估 | LogLoss、校准、分群稳定性 |
| 多目标融合 | 各目标收益、约束满足、帕累托变化 |
即使最终只汇报一个主指标,也应该保留能解释它的辅助指标。
分群比平均值更接近问题
平均提升可能来自少量高活跃用户,也可能掩盖新用户、长尾内容或特定场景的退化。我通常会检查:
- 新老用户;
- 活跃度区间;
- 内容类型与新鲜度;
- 头部和长尾作者;
- 不同流量入口;
- 延迟和资源消耗。
当一个模型只在某些切片上有效时,这不一定意味着模型失败。它可能提示我们应该做分场景策略,而不是强求一个模型覆盖所有流量。
离线评估的正确位置
离线结果适合做发布门槛、快速排除坏方案和缩小实验空间,但不能替代线上实验。更稳妥的流程是:离线回归通过,小流量验证保护指标,再逐步扩大实验。
真正有价值的不是一次“指标提升”,而是建立离线变化与线上反馈之间的长期对应关系。当团队知道哪些离线信号更可能带来真实收益,评估体系才开始成为资产。
DISCUSSION