RAG 检索评测:Hit、Recall、Precision 和 MRR
“检索效果提升了”还不够具体。找到了至少一段资料、找全了相关资料、把资料排到第一位,是三个不同的结果。我用下面这组小数据区分它们。
每个字母代表唯一文本块,标注列出了小语料中的全部相关块。三道题都有答案,每题返回前三条,数据只用于演示计算:
| 问题 | 全部相关块 | 实际返回的前三条 |
|---|---|---|
| q1 | A、B | X、A、Y |
| q2 | C | C、Y、Z |
| q3 | D、E | X、Y、Z |
先算 q1:找到 A,漏掉 B
Hit@3 只检查前三条是否至少命中一个相关块。 q1 找到了 A,记 1;完全没找到才记 0。三道题中 q1、q2 命中,平均值是 2/3,这里的分母是问题数。TorchMetrics 的 Hit 定义采用的也是“至少命中一条”。
Recall@3 看相关资料找回了多少。 q1 应该找到 A 和 B,实际找到 A,所以是 1/2。分母是这道题的全部相关块数。
Precision@3 看返回的位置有多少放对了。 q1 的三个位置中只有 A 相关,因此是 1/3。这里固定按三个位置计算,不足三条的空位也算未命中。使用现成库时,需要核对它处理不足 K 条结果的约定,具体可查 Recall 和 Precision 文档。
MRR 关注首次命中的位置。 q1 的 A 排第二,倒数排名 RR 是 1/2;q2 第一位就命中,RR 是 1;q3 没命中,记 0。对这些 RR 求平均,得到平均倒数排名 MRR。第二份证据也被找到,对这个指标没有额外奖励。
把三道题放在一起
examples/learning/rag/metrics.py 保存了完整计算。每项指标先按题计算,再对三题取算术平均:
q1 q2 q3 平均
Hit@3 1 1 0 0.6667
Recall@3 0.5 1 0 0.5000
Precision@3 0.3333 0.3333 0 0.2222
MRR@3 0.5 1 0 0.5000
最后一行的前三列是单题 RR,末列才是 MRR。Hit 较高而 Recall 较低时,值得检查是不是多数题都只找到了一部分材料;首次命中靠后,则可以从排序入手。
这组计算只包含有答案的问题。没有答案的提问单独检查是否合理拒答,不混进这张表里。
用这组指标比较重排
混合检索找出候选之后,可以把问题和每段候选成对交给模型,让它细看相关程度,再调整顺序,这一步叫重排。
BGE-Reranker 通常采用交叉编码:问题与段落一起输入,得到相关性分数。每次换问题,都需要重新计算这些配对,因此一般先检索出候选,再做重排。BGE 官方说明介绍了这种用法,具体接口可见 FlagEmbedding。
我会固定语料、标注、候选集合和截断数量,只调整候选顺序来比较重排前后。如果一边换排序,一边扩大候选范围,就难以判断提升来自哪一步。正确资料根本没进入候选时,需要回头检查召回;地域和有效期这类明确条件,则由程序筛选。
检索之后,还要核对回答
例如,用户问“老用户能办这个套餐吗”,检索到了“仅限新入网用户”的套餐介绍,模型却回答“可以,月费 69 元”。检索找到了相关资料,回答仍丢掉了关键限制。
检查回答时,需要把其中的关键判断与适用原文逐句核对:引用是否支持这句话,限制条件是否保留,版本是否正确。链接能打开、原文里有这个价格,都无法单独证明“老用户可以办”。
资料缺什么,回答就处理什么。缺地域就补问;只有资费、没有办理资格,就分别说明能确认的资费和暂时无法确认的资格;两份有效规则冲突,就指出冲突并交给人工核实。这样才能区分该改检索、排序,还是模型使用资料的方式。
这篇属于 RAG 与知识检索 · 第 3 / 3 篇
下载本专题的 Python 示例