第五章：基于证据生成与端到端评估

正确片段进入上下文以后，仍不能保证答案正确。模型可能忽略证据、混合不同版本、把推测写成事实，或者附上与句子无关的引用。生成层需要清楚约束，评估也必须同时检查答案与依据。

构造证据上下文

为每个片段附上稳定来源标识、标题、章节、更新时间和正文，并用清楚分隔符隔开。要求模型只依据提供内容回答，信息不足时说明缺少什么，不使用自身记忆补齐具体制度和数字。

如果片段之间冲突，不要让模型静默选一个。可以要求它指出冲突及各自来源，或根据明确的版本优先级处理。真正的权威判断应在知识治理层完成。

引用应指向用户可以访问的原始文档或片段。理想状态是每个关键结论都能关联到支持它的来源，而不是在答案末尾随意列出几篇文档。

应用层可以限制模型只能引用检索结果中存在的来源编号，并在返回前校验编号。权限控制必须在检索和链接访问两处都生效，避免答案隐藏正文却通过链接泄露文档。

知识层检查资料是否正确、当前和完整。检索层检查正确片段是否被召回并排到前面。生成层检查答案是否回答问题、忠实于证据、引用匹配，并在无答案时正确拒答。

端到端指标可以包括答案正确率、证据覆盖率、引用准确率、无答案识别率、延迟和成本。对高风险问题单独统计，不要让大量简单问题掩盖严重错误。

上线后记录用户问题、检索来源标识、模型版本和结果反馈，并对敏感内容脱敏。把高频失败加入固定测试集：是知识缺失就补资料，是分段不完整就重建索引，是查询歧义就改写或澄清，是模型忽略证据才调整生成提示。

测试集应保留一部分从未用于调参的样本，防止系统只对已知问题优化。资料更新后重新确认标准答案，避免用旧答案判定新制度。

RAG 的质量不是一个单一分数。成熟系统能够解释一次错误发生在哪里，并用对应手段修复，而不是每次都更换模型或重写提示词。