语言统计与虚假信念推理：来自41个开放权重语言模型的证据

关于语言模型（LMs）心理状态推理的研究有助于理解人类社会认知理论，并加深对LM自身能力的认识。然而，现有研究多基于少量封闭源模型，限制了对心理理论和LM能力的严格测试。本文通过评估41个开放权重模型的心理状态推理行为，复现并扩展了虚假信念任务的相关研究。结果显示，34%的LM能感知隐含的知识状态，但均无法完全解释人类的行为。更大的模型表现出更高的敏感性和心理测量预测力。此外，研究提出一个新假设：当知识状态由非事实性动词（如‘John thinks’）提示时，人类和LM都更倾向于归因虚假信念。该结果表明，使用更多开放权重模型样本有助于测试人类认知理论和评估LM能力。