摘要
大型语言模型(LLMs)在通用和专业任务中广泛应用,但在用户意图表达不明确时仍难以准确理解并响应真实需求,导致主观用户信念与实际环境状态之间出现分歧。解决这一认知分歧需要心智理论(ToM),但现有对LLMs的ToM评估主要集中在孤立的信念推理上,忽视了其在现实交互中的功能价值。为此,本文将ToM形式化为一种检测和解决认知分歧的机制,并提出一个基准enchname,用于评估模型在实践中如何协调用户信念与用户画像。结果表明,11个主流模型在识别阻碍任务成功的潜在认知差距方面存在显著局限。为弥补这一差距,我们进一步构建了一个基于轨迹的ToM数据集,将信念追踪与任务相关状态推断相结合。基于该数据集进行强化学习训练的模型在推理用户心理状态方面表现出持续改进,从而提升了下游任务性能。本研究突显了ToM作为交互层面关键机制的实用价值,而非仅作为独立的推理技能。
AI 推荐理由
论文聚焦于通过心智理论(ToM)解决用户与Agent之间的认知分歧,属于推理能力的核心研究。
论文信息