Sep, 2024

像玩乐高一样合并LoRA：通过秩聚类推动LoRA模块化的极限

HTML
PDF
TL;DR本研究解决了目前LoRA组合方法在任务特定适应性上的局限，导致参数相互干扰和性能下降的问题。本文提出了最小语义单元（MSU）的概念，开发了LoRA-LEGO框架，通过对不同LoRA的MSU进行秩聚类，灵活组合生成新的LoRA。实验结果表明，该方法在LoRA合并方面优于现有的技术。
发现论文，激发创造
  • LoRA: 大型语言模型的低秩适应

    本文提出了一种低秩适应方法（Low-Rank Adaptation，简称LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和GPU内存占用过高的问题。

    Jun, 2021

  • LoRA链：通过剩余学习对语言模型进行高效微调

    通过梯度投影方法，我们提出了一种新的迭代优化框架COLA，通过将学习的链式LoRA模块与预训练的语言模型参数进行融合，并为新生成的LoRA模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了LoRA和完全参数微调之间的差距。

    Jan, 2024

  • LoraRetriever: 面向混合任务的输入感知 LoRA 检索与组合

    LoraRetriever是一个检索后合成的框架，根据输入提示自适应地检索和组合多个LoRA，实验结果表明LoraRetriever始终优于基线模型，突出了其实际效果和通用性。

    Feb, 2024

  • LoRA-Flow：面向生成任务的大型语言模型的动态 LoRA 融合

    使用动态融合权重的LoRA-Flow方法在六个生成任务中实验证明，相较于基准方法的任务级融合权重，我们的方法始终表现优异，强调了引入动态融合权重对于LoRA组合的必要性。

    Feb, 2024

  • 混合LoRA：大型语言模型的高效多任务调优

    使用Mixture-of-LoRAs (MoA)架构的多任务学习方法，通过培训多个领域特定的LoRA模块，采用明确的路由策略和领域标签来防止任务之间的干扰，并最终提高每个个体任务的性能，进而促进领域特定大语言模型（LLMs）的广泛应用。

    Mar, 2024

  • 用于可上传机器学习的检索增强的混合LoRA专家

    Retrieval-Augmented Mixture of LoRA Experts (RAMoLE) is a framework that adaptively retrieves and composes multiple LoRAs to improve large language models through Uploadable Machine Learning, consistently outperforming baselines.

    Jun, 2024

  • LoRA$^2$: 多尺度低秩近似用于大型语言模型微调

    本研究解决了在复杂下游任务中，单一尺度更新参数可能不是最佳选择的问题。通过扩展低秩适应方法（LoRA）到多尺度，提出了LoRA$^2$，并结合正交投影理论和改进的重要性评分算法，显著减少了训练参数数量，提升了适应性和性能。研究结果表明，LoRA$^2$在微调中仅需0.72%的参数，仍能实现与基线相当的性能，展现了其高效性和潜在影响。

    Aug, 2024

  • 像拼乐高一样合并LoRa：通过按秩聚类推动LoRA的模块化极限

    本研究解决了现有LoRA合并方法无法充分利用LoRA模块化特性的问题，导致参数干扰和性能下降。通过引入最小语义单元（MSUs）和LoRA-LEGO框架，提出按秩聚类并灵活组合LoRA参数，实验表明该方法在各类基准测试中表现优于现有方法。

    Sep, 2024

  • DLP-LoRA：用于大型语言模型的动态轻量级插件以实现高效任务特定LoRA融合

    本研究解决了大型语言模型（LLMs）在特定领域微调时高资源消耗的问题，提出了一种动态轻量级插件DLP-LoRA，通过使用仅5M参数的小型MLP模块，在句子层面动态融合多个LoRA，提高了推理效率。实验结果显示，DLP-LoRA在多个任务上表现优异，平均准确率达92.34%，并在问答数据集上显著提高了BLEU和ROUGE分数，展现出高效的多任务适应能力。

    Oct, 2024

  • LoRA汤：合并LoRA以进行实际技能组合任务

    本研究解决了在缺乏目标任务训练数据的情况下如何有效合并不同的LoRA模块以实现技能组合的问题。通过提出连接LoRA（CAT）的方法，研究表明其在解决需要组合多项技能的任务时，比现有模型和数据融合技术表现优越，尤其在数学词题上，性能提升达到平均43%和12%。

    Oct, 2024