FedKRSO：一种通信和内存高效的大型语言模型联邦微调方法

微调是将通用大语言模型（LLMs）适应到特定领域任务的关键。联邦学习（FL）作为一种隐私保护框架，在LLM微调中日益受到关注，但面临传输完整模型参数和计算完整梯度的高成本问题。尽管参数高效微调（PEFT）方法被广泛用于降低通信和内存成本，但通常会牺牲模型性能。本文提出FedKRSO（联邦K-种子随机子空间优化），一种在联邦环境中实现通信和内存高效微调的新方法。在FedKRSO中，客户端在服务器生成的共享随机低维子空间内更新模型以节省内存使用。此外，客户端在每轮联邦学习中仅发送沿子空间的模型更新累加器，从而实现高效的全局模型聚合和分发。通过这些策略，FedKRSO显著减少了通信和内存开销，同时克服了PEFT的性能限制，接近联邦全量微调的性能。在GLUE基准测试中的广泛实验表明，FedKRSO在多种联邦学习场景下均表现出优越的性能和较低的通信与内存开销，为资源受限边缘设备上的联邦LLM微调铺平了道路。