Jun, 2024

基于 Transformer 的卫星载荷处理遥感图像的低秩适应

PDF
TL;DR该研究论文提出了一种基于参数高效微调技术的低秩适应模块（LoRA）方法，通过训练低秩矩阵参数并将其与原模型的权重矩阵相乘和相加，从而微调模型参数以适应新的数据分布，实现了几乎全微调效果的模型性能提升，并加速模型训练迭代和提高定向目标检测模型的泛化性与鲁棒性。
deep learning modelsreal-time interpretationsatellite onboardparameter-efficient fine-tuningoriented object detection
发现论文，激发创造
  • OLoRA: 正交低秩对大型语言模型的适应

    OLoRA 是对 LoRA 方法的增强，利用 QR 分解通过正交矩阵初始化来加速 LLM 训练的收敛速度，同时保留 LoRA 的高效特性，例如可训练参数数量和 GPU 内存占用，实证评估结果显示，OLoRA 不仅收敛更快，而且在各种语言建模任务上表现出更好的性能，为 LLM 的精细调整提供了更高效和可访问性的可能，从而促进自然语言应用的广泛采用和创新。

    Jun, 2024

  • 低秩适应的表达能力

    使用低秩适应（LoRA）参数有效的微调方法，通过分析其表达能力和近似误差，证明了 LoRA 方法能够将预训练模型适应到较小目标模型，并适用于全连接神经网络和 Transformer 网络。

    Oct, 2023

  • ALoRA: 为大型语言模型调整低秩适应

    通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。

    Mar, 2024

  • 基于低秩适应的时间序列基础模型在领域外模态预测中的应用

    通过对 Lag-Llama、MOIRAI 和 Chronos 这三个基础模型应用 Low-Rank Adaptation (LoRA) 技术，本研究探讨了在时间序列数据中使用 LoRA 对预测严重感染患者生命体征的影响，证明了 LoRA 在适用于未知模态时在提高预测性能和降低领域特定数据上运行大型模型的低效问题方面的潜力，并通过对调参参数和 LoRA 矩阵秩的不同设置进行综合消融研究，验证了模型性能的可观提高。

    May, 2024

  • 稀疏低秩的预训练语言模型适应

    在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高 LoRA 的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA 在保留 70% 参数和训练时间的情况下，能够胜过其他基准模型。

    Nov, 2023

  • 基于矩阵变换的低秩适应（MTLoRA）：一种启发式的参数高效微调方法

    该论文介绍了一种基于大规模预训练语言模型 (LPLMs) 的微调技术，通过矩阵变换的重新参数化方法 (MTLoRA) 在下游任务中提高模型性能，取得了显著的提升。

    Mar, 2024

  • 基于批处理低秩方法的基础模型适应

    通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation (LoRA) 在处理多个任务特定适配器时的性能瓶颈。我们在包括 8 种语言的 MultiPL-E 代码生成基准和 6 种语言的多语种语音识别任务上，通过实证展示了 FLoRA 保持 LoRA 性能优点的竞争结果。

    Dec, 2023

  • LoRA: 大型语言模型的低秩适应

    本文提出了一种低秩适应方法（Low-Rank Adaptation，简称 LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和 GPU 内存占用过高的问题。

    Jun, 2021

  • LoRA-XS：低秩适应与极小参数

    介绍了一种新的参数高效微调方法 LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比 LoRA 和 VeRA 等最新方法更具参数效率同时保持竞争性能。

    May, 2024

  • 贝叶斯 - LoRA：使用最佳量化水平和等级值通过可微分贝叶斯门进行参数高效微调的基于 LoRA 的方法

    在这项研究中，我们提出了一种基于贝叶斯角度的矩阵分解和量化方法，名为 B-LoRA，通过对学习到的低秩矩阵的量化级别和秩值引入先验分布，使其能够在特定任务上对预训练模型进行精细调节，找到每个低秩矩阵的最佳秩值和量化级别。通过在 GLUE 基准上对预训练的 DeBERTaV3 模型进行验证，并将其与相关基准进行比较，我们展示了该方法如何学习到最优秩的量化矩阵，相比基线方法，B-LoRA 在性能上与基线相当或更好，并且减少了大约 70% 的总比特操作量。

    Jun, 2024