RAG 系统最容易让人产生错觉的地方,是答案读起来很流畅。流畅并不等于正确,更不意味着系统找到了应该依赖的证据。
如果只在最后比较答案文本,我们会把很多性质不同的问题混在一起:资料根本没被召回、召回了但排序靠后、上下文被截断,或者模型看见证据后仍然做了错误推断。更可操作的评估方式,是沿着系统链路逐段提问。
先把失败拆开
我倾向把一次 RAG 请求拆成三个层次:
- 检索层:包含答案的证据是否进入候选集合?
- 上下文层:真正有用的片段是否被保留,并以可理解的顺序交给模型?
- 生成层:回答是否忠于证据,是否覆盖问题,是否在证据不足时正确拒答?
这三个层次需要不同的数据和指标。检索层可以从 Recall@K、MRR 和命中文档排名开始;生成层则更关心忠实度、完整性、引用正确率和拒答行为。把它们压成一个总分,往往会掩盖真正的瓶颈。
一个最小的检索评估
下面的代码不是完整评估框架,但它足够回答一个关键问题:标注的相关文档是否出现在前 K 个结果中。
from collections.abc import Iterable
def hit_at_k(retrieved: Iterable[str], relevant: set[str], k: int) -> int:
top_k = list(retrieved)[:k]
return int(any(doc_id in relevant for doc_id in top_k))
def recall_at_k(retrieved: Iterable[str], relevant: set[str], k: int) -> float:
if not relevant:
return 0.0
top_k = set(list(retrieved)[:k])
return len(top_k & relevant) / len(relevant)
真正困难的部分并不在公式,而在相关性标注。一个问题可能需要两段证据联合回答,也可能存在多份等价资料。评估集如果只标一条“标准文档”,就会把合理结果误判为失败。
不只记录平均分
平均指标适合观察趋势,却不适合解释问题。我会同时保留几个切片:
- 问题类型:事实查询、比较、总结、多跳推理;
- 资料状态:新文档、旧文档、冲突文档、无答案;
- 查询表达:原词匹配、同义改写、口语化表达;
- 权限与时效:用户是否有权访问,资料是否已经过期。
切片之后,优化方向通常会清楚很多。如果同义改写表现差,可能应该处理查询理解;如果多跳问题表现差,问题可能在检索策略或上下文拼接,而不一定需要换更大的生成模型。
让评估成为开发接口
一套有用的评估,不是项目结束时才运行的报告,而是每次修改检索器、分块方式、提示词或模型之后都能执行的回归检查。
我希望它最终回答的不是“这个版本得了多少分”,而是三个更具体的问题:这次修改改善了哪类请求?牺牲了什么?我们是否知道原因?
当这些问题能被稳定回答,RAG 才从一个演示效果不错的原型,逐渐变成可维护的工程系统。
DISCUSSION