Feb, 2024

基于 ConvLoRA 和 AdaBN 的领域自适应方法

PDF
TL;DR使用 Convolutional Low-Rank Adaptation（ConvLoRA）和 Adaptive Batch Normalization（AdaBN）提出了一种简单且有效的领域自适应方法，能够减少可训练参数并在测试加拿大卡尔加里和坎皮纳斯数据集中的脑 MRI 图像分割任务中表现良好。
domain adaptationconvolutional low-rank adaptationadaptive batch normalizationtrainable parametersbrain mri images
发现论文，激发创造
  • LoRA: 大型语言模型的低秩适应

    本文提出了一种低秩适应方法（Low-Rank Adaptation，简称 LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和 GPU 内存占用过高的问题。

    Jun, 2021

  • PC-LoRA：基于知识蒸馏的逐步模型压缩的低秩适应

    逐步压缩低秩适应（PC-LoRA）方法通过低秩适应同时进行模型压缩和微调，最终仅保留低秩适配器以取代预训练权重，实现了参数和计算量的压缩。

    Jun, 2024

  • 基于批处理低秩方法的基础模型适应

    通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation (LoRA) 在处理多个任务特定适配器时的性能瓶颈。我们在包括 8 种语言的 MultiPL-E 代码生成基准和 6 种语言的多语种语音识别任务上，通过实证展示了 FLoRA 保持 LoRA 性能优点的竞争结果。

    Dec, 2023

  • 使用并行低秩适配器从头训练神经网络

    深度学习模型的可扩展性受到计算资源、内存和通讯的根本限制。本文在模型预训练中探索了低秩适应（LoRA）方法的应用，介绍了 LoRA-the-Explorer（LTE）算法，通过在计算节点上进行多个低秩头的并行训练来减少同步频率，使用不同视觉数据集进行广泛实验，并证明 LTE 在标准预训练中具有竞争力。

    Feb, 2024

  • DyLoRA: 使用动态无搜索低秩适应进行参数高效微调预训练模型

    本文提出了一种名为 Dynamic Low-Rank Adaptation 的技术，旨在通过训练预训练模型的适配器模块，为多个秩数建立动态搜索免费的模型，并证明该方法可以显著加快训练速度并在 GLUE 基准测试中取得一致的优秀表现。

    Oct, 2022

  • 实用域自适应的 Batch Normalization 重新审视

    本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

    Mar, 2016

  • 基于 Wav2vec2 的假音频检测的低秩适应方法

    文章介绍了如何使用低秩适应（LoRA）方法在不显著劣化性能的情况下，有效减少预训练语音模型的微调时间和内存占用

    Jun, 2023

  • 通过发现潜在领域来提升域自适应

    本文提出了一种基于深度卷积神经网络的领域自适应方法，在自动发现图像数据集中的潜在领域并利用此信息来学习鲁棒的目标分类器方面取得了显著优于现有方法的结果，其中引入了两个主要组件，一个是自动计算源样本分配到潜在领域的支路，另一个是利用领域成员信息对齐 CNN 内部特征表示分布的新型图层。

    May, 2018

  • LoRA-FA: 内存高效的大语言模型低秩适应微调

    LoRA-FA 采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了 LoRA。

    Aug, 2023

  • LoRA+：大型模型的高效低秩自适应

    通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率，我们提出了一种名为 LoRA$+$ 的算法，解决了 LoRA 的次优问题同时提高了性能（1-2％改进）和微调速度（最高约 2 倍速度提升）的问题。

    Feb, 2024