因错得对：用于LLM中因果层级崩溃的认知遗憾最小化

当前机器学习系统可能通过捷径实现高准确率，但这些系统在分布偏移下表现不佳。本文揭示了这种问题的因果根源：自回归训练无法区分相关性P(Y|X)与干预P(Y|do(X))，导致因果层级崩溃。当基于结果的学习强化了错误因果模型下的正确答案时，代理会陷入错误推理。为此，本文提出认知遗憾最小化（ERM）目标函数，独立于任务成功惩罚因果推理错误，并构建三层架构进行知识表示。实验表明，即使在增强推理能力的模型中，因果层级崩溃仍存在，而ERM反馈可有效纠正部分错误。