评估 RAG,不应该只看答案像不像

把 RAG 的失败拆成检索、上下文组织和生成三个阶段,才能知道下一次优化应该发生在哪里。

Read in English →
本篇目录

RAG 系统最容易让人产生错觉的地方,是答案读起来很流畅。流畅并不等于正确,更不意味着系统找到了应该依赖的证据。

如果只在最后比较答案文本,我们会把很多性质不同的问题混在一起:资料根本没被召回、召回了但排序靠后、上下文被截断,或者模型看见证据后仍然做了错误推断。更可操作的评估方式,是沿着系统链路逐段提问。

先把失败拆开

我倾向把一次 RAG 请求拆成三个层次:

  1. 检索层:包含答案的证据是否进入候选集合?
  2. 上下文层:真正有用的片段是否被保留,并以可理解的顺序交给模型?
  3. 生成层:回答是否忠于证据,是否覆盖问题,是否在证据不足时正确拒答?

这三个层次需要不同的数据和指标。检索层可以从 Recall@K、MRR 和命中文档排名开始;生成层则更关心忠实度、完整性、引用正确率和拒答行为。把它们压成一个总分,往往会掩盖真正的瓶颈。

一个最小的检索评估

下面的代码不是完整评估框架,但它足够回答一个关键问题:标注的相关文档是否出现在前 K 个结果中。

from collections.abc import Iterable


def hit_at_k(retrieved: Iterable[str], relevant: set[str], k: int) -> int:
    top_k = list(retrieved)[:k]
    return int(any(doc_id in relevant for doc_id in top_k))


def recall_at_k(retrieved: Iterable[str], relevant: set[str], k: int) -> float:
    if not relevant:
        return 0.0
    top_k = set(list(retrieved)[:k])
    return len(top_k & relevant) / len(relevant)

真正困难的部分并不在公式,而在相关性标注。一个问题可能需要两段证据联合回答,也可能存在多份等价资料。评估集如果只标一条“标准文档”,就会把合理结果误判为失败。

不只记录平均分

平均指标适合观察趋势,却不适合解释问题。我会同时保留几个切片:

  • 问题类型:事实查询、比较、总结、多跳推理;
  • 资料状态:新文档、旧文档、冲突文档、无答案;
  • 查询表达:原词匹配、同义改写、口语化表达;
  • 权限与时效:用户是否有权访问,资料是否已经过期。

切片之后,优化方向通常会清楚很多。如果同义改写表现差,可能应该处理查询理解;如果多跳问题表现差,问题可能在检索策略或上下文拼接,而不一定需要换更大的生成模型。

让评估成为开发接口

一套有用的评估,不是项目结束时才运行的报告,而是每次修改检索器、分块方式、提示词或模型之后都能执行的回归检查。

我希望它最终回答的不是“这个版本得了多少分”,而是三个更具体的问题:这次修改改善了哪类请求?牺牲了什么?我们是否知道原因?

当这些问题能被稳定回答,RAG 才从一个演示效果不错的原型,逐渐变成可维护的工程系统。

RELATED WRITING

DISCUSSION

讨论