全部文章

RAG 文档分块:保留标题、表格与业务条件

先看三份同名的“畅享套餐”资料。下面的套餐、金额和日期都是教学样例:

资料地域生效时间月费流量
广州 v1广州2026 年 1—10 月59 元20GB
广州 v2广州2026 年 11—12 月69 元30GB
深圳 v1深圳2026 年 11—12 月79 元40GB

三份文件都限定新入网用户。11 月 14 日,用户问“广州现在的畅享套餐多少钱”,适用的是广州 v2。搜索只匹配“畅享套餐”这几个字,会把三份都找出来;把价格拼在一起交给模型,又会丢掉价格对应的条件。

先检索资料,再让模型组织回答,这个过程叫检索增强生成,也就是 RAG。我觉得整理资料时最该先检查的是:一段文字离开原文件以后,还能不能独立读懂。 套餐内容要完整,地域和日期也要跟着保存。先处理这些,再决定每块切多少字。

从文档结构开始切

把长文拆成便于检索的小段,通常叫分块。固定字数切分容易实现,但切口可能落在“仅限”后面,下一块只剩“新入网用户”。表格里单独截出“69,30”,也看不出这两个数的单位。

不同格式需要保留的结构不太一样:PDF 要有页码和阅读顺序,Word 要有标题层级,Excel 的数据行要带表头、单位和相关备注。HTML 可以去掉导航等重复内容,正文小标题仍然有用。跨页表格和合并单元格还需要检查列是否对齐,否则解析成功也可能把价格放进流量那一列。

同一行套餐数据在分块后,同时保留标题路径、完整条件和可过滤的元数据

图中把“69 元、30GB”和“仅限新入网用户”保存在同一块里。表格的一行可以先改写成带字段名的短句,再与相关说明放在一起。比如“优惠到期后恢复原价”写在表下注释中,这条注释也属于套餐规则,应该进入对应文本块。

正文较长时,再按段落继续拆,并重复必要的标题。相邻块保留一部分重叠内容可以补充上下文,但关键条件未必刚好落在重叠区,还是需要检查每块表达的规则是否完整。

一份文本,两种读取方式

模型需要读懂正文,程序需要按地域和时间筛选。因此,除了文本,我还会保存类别、地域、有效期、版本、来源和页码等字段。这些附加信息叫元数据。广州新版可以整理成下面这样:

{
  "text": "畅享套餐办理说明 > 资费表\n套餐:畅享套餐;月费:69元;流量:30GB;仅限新入网用户。",
  "metadata": {
    "region": "广州",
    "valid_from": "2026-11-01",
    "valid_to": "2026-12-31",
    "version": "v2",
    "source": "demo/gz-offer-v2.pdf",
    "locator": "第2页,资费表第1行"
  }
}

version 用来追踪修改,valid_from 和 valid_to 决定适用时间。文件昨天上传,政策可能上个月就已生效;没有写有效期的资料,则需要单独确认,不能自动按长期有效处理。

地域和日期已知时,可以先缩小搜索范围。Milvus 的标准过滤搜索支持先过滤元数据,再做向量搜索。如果同时使用关键词检索,两路都要采用相同条件,合并结果时才不会重新带回旧版资料。

examples/learning/rag/chunks.py 从整理好的样例行构造文本块,再筛选“广州,2026-11-14”,输出如下:

过滤前:gz-v1-r1, gz-v2-r1, sz-v1-r1
过滤后:gz-v2-r1

筛选后只剩广州 v2。接下来用关键词和向量检索查找相关段落时,模型拿到的资料才同时满足内容和适用条件。

这套筛选依赖明确的业务信息:用户没说地域,就补问地域;两份有效资料相互冲突,就保留冲突,交给后续核实。搜索分数负责排序,不能替我们决定哪份政策更新。

这篇属于 RAG 与知识检索 · 第 1 / 3 篇
下载本专题的 Python 示例