摘要
大语言模型虽经多语言训练,但其主导语言常为英语,反映预训练数据中英语的主导地位,其他语言虽存储于参数化记忆中却系统性被抑制。本文提出语言默认性由稀疏低秩控制回路(即“语言神经元”)调控,并可被机制性分离与安全引导。我们引入Neural FOXP2方法,通过三阶段实现目标语言(如印地语或西班牙语)的主语言化:(i)定位语言特异性神经元;(ii)通过谱低秩分析提取语言转换的主导方向;(iii)在低至中层对语言神经元施加有符号的稀疏激活偏移,增强目标语言同时抑制英语表征,从而可控地实现目标语言默认性。
AI 推荐理由
涉及参数化记忆中的语言表征调控,但聚焦语言控制而非通用Agent Memory机制。
论文信息