知识库效果不好时,人们常先调整 embedding 模型和检索参数。更常见的根因其实是资料:旧版本和新版本并存,扫描件没有正确识别,标题层级丢失,甚至同一个问题在三份文件中有互相冲突的答案。

建立来源清单

为每类资料记录负责人、来源地址、更新时间、适用范围和访问级别。只有被业务确认的内容才进入正式知识库。聊天记录和个人笔记可以作为线索,但不应在未经审核时成为制度答案。

知识更新需要有固定流程:新版本生效时停用旧版本,删除的页面同步从索引移除,负责人定期检查长期未更新内容。RAG 能快速更新知识,但前提是系统知道哪一份才是当前事实。

保留文档结构

清洗不是把所有内容变成一大段纯文本。标题、章节、列表、表格列名和条款编号能帮助检索,也能让引用更清楚。去除重复页眉页脚、导航和版权模板,但保留理解正文所需的上下文。

扫描 PDF 需要 OCR,并抽样检查数字、日期和专有名词。复杂表格可以转换成带表头的行记录,或直接保留在结构化数据库中通过查询工具访问。图片中的关键信息需要多模态处理或人工补充文字说明。

元数据让检索更精确

为文档或片段增加产品、地区、部门、语言、文档类型、生效日期和权限级别等元数据。查询时可以先按当前用户和业务场景过滤,再做语义检索。

元数据字段应来自稳定枚举,不要让同一部门同时出现“销售”“销售部”和“Sales”三种值。筛选太严格会漏掉结果,太宽松又可能召回无权访问或不适用的资料。

处理冲突与空白

发现资料互相冲突时,不要期待模型自动判断权威版本。先由内容负责人解决,或明确标记优先级和适用条件。对没有正式答案的问题,知识库应允许返回空结果,再由应用提示用户联系负责人。

验收知识源

在索引前抽查:正文能否读取,标题与条款是否保留,日期和数字是否正确,重复内容是否清除,版本和权限是否明确。把这一步做扎实,后面很多看似“AI 效果”的问题会自然消失。

RAG 项目首先是内容治理项目。检索技术可以找到文字,却不能替组织决定哪些文字值得被相信。