Mar, 2025

基于层级 dropout 的大型语言模型高效联邦微调

TL;DR本研究解决了现有联邦微调方法在资源受限设备上面临的计算和内存负担问题。提出的 DropPEFT 框架通过随机选择性地停用大量层,有效降低了计算需求,并通过自适应配置 dropout 比率来优化训练性能。实验表明,该方法在模型收敛速度上实现了1.3至6.3倍的加速,并在内存占用上降低了40%至67%。