用 Python 实现 RRF 排名融合
先准备两张排名表。字母代表文本块,顺序表示相关程度从高到低。这是手工设置的教学数据,下面只运行融合计算,不调用搜索引擎:
BM25: A > B > C
dense: B > C > D
把它们合成一张表,可以按名次给每个块记分:每出现一次,加上 1 / (k + 名次),最后按总分排序。这个方法叫倒数排名融合,也就是 RRF。Elastic 文档给出了对应公式。
几行代码完成融合
名次从 1 开始,常数 k 先取 60。用字典累加各块得分:
from collections import defaultdict
scores = defaultdict(float)
for ranking in [["A", "B", "C"], ["B", "C", "D"]]:
for rank, chunk_id in enumerate(ranking, start=1):
scores[chunk_id] += 1 / (60 + rank)
result = sorted(scores.items(), key=lambda x: (-x[1], x[0]))
enumerate(..., start=1) 给出名次,defaultdict(float) 把未出现过的块初始化为 0。排序时先看分数,同分再按 ID 排,让示例输出保持一致。配套脚本 examples/learning/rag/rrf.py 的结果是:
1. B 0.032522
2. C 0.032002
3. A 0.016393
4. D 0.015873
B 在关键词结果中排第二,在向量结果中排第一,得分是 1/62 + 1/61。A 虽然占了一路的第一名,却只有一路贡献,所以融合后 B 排在它前面。
这里的 k 用来平滑名次差距,数值越大,第一名与后面名次得到的分数越接近。它与“最后保留多少条”的 Top-K 是两个参数。0.032522 也只是融合得分,不是答案正确概率;它随参与的路数和常数变化,不适合直接当业务拒答阈值。
按名次融合的取舍
关键词检索和向量检索的分数来自不同计算。比如 BM25 得到 12.4,向量相似度得到 0.82,直接相加就默认了两个单位具有相同含义。BM25 从 12.4 变成 24.8,也不代表语义相关程度翻倍。
可以先归一化再调权重,也可以像 RRF 这样只使用名次。我觉得后者比较方便理解:两路都靠前的结果得到更多分数。代价是原始分数中“第一名远强于第二名”的差距也一起被舍弃了。如果两路都找错,RRF 仍会排出第一名,回答前还需要检查内容。
放回混合检索里
两张排名表对应两种查找方式。Elasticsearch 的 BM25 关注查询词与文档用词的匹配,会考虑词频、词的稀有程度和文档长度,重复出现也不会无限加分。Elastic 的相似度文档解释了词频饱和与长度归一化的参数。
向量检索先把问题和文档变成一串数字,让意思接近的文本在表示空间里靠近。这里采用 BGE-M3 的稠密向量,再交给 Milvus 存储和搜索。BGE-M3 论文还介绍了稀疏和多向量检索,本文只讨论它的稠密向量与 ES BM25 组合。
例如“流量用完以后怎么收费”和“套餐外上网资费”用词不同、意思接近,向量检索有机会找到对应资料;“畅享 69 套餐”中的名字和数字,则值得精确匹配。让两路各找一批可能有用的文本,再合并结果,就是混合检索。这批文本叫候选,先把它们找出来的步骤叫召回。
接入时,我会保留用户原话与改写后的查询。明确的术语别名可以统一,套餐数字、地域和否定条件要保留;上一轮已经确定的“广州”可以补进查询,未知地域则需要询问。两路还要使用同一套块 ID,各自去重后再融合。分块时保存的地域与版本也要参与区分,只按正文去重容易合并不同规则。
比较方案时,把“两路各取多少条、融合后留多少条”一并记录下来。候选数量会影响排名,固定这些设置,才方便继续比较重排与检索指标。
这篇属于 RAG 与知识检索 · 第 2 / 3 篇
下载本专题的 Python 示例