语言模型记忆与语言的记忆模型

机器学习模型通过隐藏层向量嵌入存储输入信息的能力类似于记忆概念，但其存储能力有限。相比之下，用于输入再生的自编码器嵌入能够实现近乎完美的记忆形成。将记忆嵌入替代词序列可显著提升计算效率，从而提出一种可并行的编解码记忆模型架构。通过因果训练，这些模型生成的信息贫乏嵌入无法支持任意信息访问，但结合因果与信息保留目标函数后，模型能学习形成和解码信息丰富的记忆。进一步优化可通过冻结高保真编码器并采用课程学习方式训练解码器。论文指出仅依赖下一个词预测训练难以准确形成记忆，因此建议使用联合目标函数进行训练。