Feb, 2025

通过交替优化LoRA实现大规模语言模型的鲁棒联邦微调

TL;DR本研究解决了现有联邦训练方法效率低下的问题,提出了一种名为RoLoRA的新框架,通过交替优化来微调LoRA适配器。通过理论分析和广泛实验,证明RoLoRA在模型更新质量和表达能力方面优于先前的方法,展示了在多任务和大规模模型上的显著优势。