摘要
大语言模型(LLM)通常通过检索增强生成(RAG)构建上下文,采用top-k段落选择策略,易导致文档结构信息碎片化、内容重复及查询上下文不足(如缺乏二阶、三阶语义维度)。本文提出一种融合结构信息与多样性约束的上下文气泡构建框架,在严格令牌预算下组装连贯、可引用的文本片段。该方法利用文档固有结构(如章节、行等多粒度片段)并引入任务条件化的结构先验指导检索;从高相关性锚点出发,通过平衡查询相关性、边际覆盖度与冗余惩罚进行受限选择,显式控制多样性与预算,生成紧凑且信息丰富的上下文集。系统同时输出完整检索轨迹,支持可审计性与确定性调优。在企业文档上的实验表明,该方法显著减少冗余、更好覆盖次级语义维度,并在有限上下文窗口内提升回答质量与引用忠实度。消融实验证明结构先验与多样性约束均不可或缺。
AI 推荐理由
聚焦上下文构建机制,涉及信息组织与冗余控制,属记忆相关但非核心记忆架构。
论文信息