Apr, 2024

个性化协作微调用于设备上的大型语言模型

PDF
TL;DR在设备上进行自我监督的合作微调大规模语言模型的研究，使用三种不同的信任加权梯度集成方案，并与 FedAvg 和本地微调方法相比，使用少量的数据交换和 LoRA 权重更新，显示出在本地数据分布不均的现实场景中处理异质性和稀缺性方面的有效性。
on-device self-supervised collaborative fine-tuningtrust-weighted gradient aggregationlow-rank adaptationcommunication overheadlocal data distributions
发现论文，激发创造
  • 异构语言任务和客户资源下的分布式大型语言模型微调

    FlexLoRA 是一种用于 LLM fine-tuning 的聚合方案，通过动态调整本地 LoRA 等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过 1,600 个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了 FlexLoRA 的有效性，联邦全局模型在下游 NLP 任务性能方面平均提高了 3.1%。FlexLoRA 的实用性进一步强调了其与现有的基于 LoRA 的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的 LLM 联邦调整路径。

    Feb, 2024

  • 参数高效的多语言摘要：实证研究

    本研究通过使用 Parameter-Efficient Fine-Tuning 中的 Low-Rank Adaptation (LoRA) 探索了复杂且未被充分研究的多语言摘要任务的潜力，研究发现 LoRA 在低数据情况和跨语言转移中表现出色，当模型增大时，LoRA 和完全微调之间的性能差距减小，同时，继续训练 LoRA 获得了最佳的少样本跨语言转移表现。

    Nov, 2023

  • 大型语言模型的个性化无线联邦学习

    基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

    Apr, 2024

  • 差分隐私低秩适应大型语言模型的联邦学习

    通过使用 DP-LoRA，这篇文章介绍了一种针对大型语言模型的新的联邦学习算法，旨在确保数据隐私并优化通信效率，以实现严格的隐私约束条件。

    Dec, 2023

  • 大规模语言模型的贝叶斯低秩自适应的高斯随机权重平均化

    基于小数据集的精调大型语言模型常常存在过度自信和校准不佳的问题，为了解决这些挑战，我们提出了低秩自适应和高斯随机权重平均的简单结合，促进了大型语言模型中的近似贝叶斯推断。通过在多个自然语言处理基准测试中进行广泛测试，我们证明了我们简单而高效的方法能够提高模型的泛化能力和校准性。我们进一步展示了我们的方法在分布变化方面表现出更强的鲁棒性，这体现在其在未知分布任务上的表现。

    May, 2024

  • MoELoRA: 基于对比学习引导的专家混合模型在大型语言模型的参数高效微调中的应用

    利用对比学习以鼓励专家学习不同特征的方式，我们介绍了一种新的参数效率微调方法 MoELoRA，它在数学推理和常识推理基准测试中表现显著优于 LoRA 和 GPT-3.5。

    Feb, 2024

  • 基于预测共识的协作学习

    本文提出了基于蒸馏的方法，并采用信任加权方案，使用伪标签的无标签辅助数据促进合作学习，以达成对辅助数据的标签共识。我们证明了该方案相对于本地训练能显著提高模型性能，同时也可以识别和缓解对于众多模型的负面影响。在个体数据训练以及模型架构存在异质性的情况下，该方法表现得尤为有效。

    May, 2023

  • 大语言模型的贝叶斯低秩适应

    使用 Laplace-LoRA 方法，对参数高效微调的大型语言模型进行贝叶斯方法，提高模型的校准性。

    Aug, 2023

  • 面向异构通信的联邦低秩自适应

    通过提出一种新的基于复制的填充策略来解决传统的联邦低秩适应方法中的稳定性问题，以实现在联邦细调过程中更好地利用高质量数据集，加速收敛速度并提高全局模型的预测质量。

    Jun, 2024

  • ShareLoRA: 共享低秩调整的参数高效和鲁棒大型语言模型微调

    通过实施共享低秩适应（ShareLoRA）的方式，本研究介绍了一种优化预训练语言模型（PLMs）的参数有效微调（PEFT）的方法。在不同层级上策略性地部署 ShareLoRA，并对 self-attention 层的 Query、Key 和 Value 组件进行适应性调整，我们实现了训练参数数量和内存使用的大幅减少。同时，ShareLoRA 不仅在 RoBERTa、GPT-2、LLaMA 和 LLaMA2 等多种模型上保持了模型性能，还在分类和生成任务中表现出鲁棒性。相比标准的 LoRA 应用，它表现出卓越的迁移学习能力，并通过在层级间共享权重来减轻过拟合。我们的发现证明，ShareLoRA 能够有效提升参数效率，同时在不同的语言模型架构上保证可扩展和高质量的性能。

    Jun, 2024