Oct, 2023

AutoLoRa：一种无需参数的自动化稳健微调框架

PDF
TL;DR在该论文中，我们揭示了现有 Robust Fine-Tuning 方法存在的问题，即通过特征提取器同时优化对抗目标和自然目标会导致梯度方向明显偏离，从而降低对抗鲁棒性，并使得 Robust Fine-Tuning 非常敏感于超参数。为了解决这个问题，我们提出了通过低秩支路将 Robust Fine-Tuning 分解为两个独立的部分来优化自然目标和对抗目标。此外，我们引入了启发式策略来自动调整学习率和损失项的标量。大量的实证评估表明，我们提出的通过低秩支路自动分解的 Robust Fine-Tuning（AutoLoRa）在各种下游任务中取得了最新的最优结果。AutoLoRa 具有重要的实用性，因为它可以将预训练的特征提取器自动转换为对抗鲁棒的下游任务模型，无需搜索超参数。
robust fine-tuningadversarial robustnesslow-rank branchautomated rftpre-trained fe
发现论文，激发创造
  • HydraLoRA：一种用于高效微调的非对称 LoRA 架构

    通过一系列实验，我们发现了两个关键的见解，揭示了 LoRA 的训练和参数效率问题，基于这些见解，我们开发了 HydraLoRA，这是一个具有不对称结构的 LoRA 框架，消除了对领域专业知识的需求，我们的实验表明，HydraLoRA 优于其他 PEFT 方法，即使在训练和推断阶段依赖领域知识的情况下。

    Apr, 2024

  • LoRA Land: 310 微调 LLM 模型媲美 GPT-4 的技术报告

    LoRA 是一种使用较少参数和内存的训练方法，研究表明，在低秩适配器的支持下，LoRA fine-tuned 模型在多个任务上表现超过基准模型 34 个百分点和 GPT-4 10 个百分点；此外，他们开发了 LoRAX 多模型推理服务器，支持多个 LoRA fine-tuned 模型在单个 GPU 上运行，以展示使用多个专用 LLM 相对于单个通用 LLM 的质量和成本效益。

    Apr, 2024

  • AutoFT：通过 OOD 数据优化超参数进行稳健微调

    AutoFT 是一种基于数据驱动的方法，用于指导基础模型的微调，以优化性能和改善泛化能力。实验证明 AutoFT 在多个分布转移任务上表现出色，显著提高了对新的异常数据的泛化能力，并在 WILDS-iWildCam 和 WILDS-FMoW 基准测试上取得了新的最佳结果。

    Jan, 2024

  • AutoLoRA: 基于元学习的低秩适应中矩阵秩的自动调整

    AutoLoRA 是基于元学习的框架，用于自动识别每个 LoRA 层的最佳秩，通过与选择变量相关联的方法确定最佳秩，并在自然语言理解、生成和序列标记等任务上证明了其有效性。

    Mar, 2024

  • SA-FedLora: 针对 LoRA 调节的高效联邦学习自适应参数分配

    通过减少可训练参数，我们提出了一种基于模拟退火的联邦学习与低秩适应（SA-FedLoRA）方法，旨在在大规模预训练模型的微调中实现更高的收敛性和通信效率。实验结果表明，SA-FedLoRA 在联邦学习中是一种高效的方法，相比 FedAvg，可以达到更好的性能，通信参数减少高达 93.62％。

    May, 2024

  • Trans-LoRA: 迈向无数据条件下的可转移参数高效微调

    通过使用合成数据集，我们提出了一种新的方法来无损地将低秩适配器模块从一个基准模型转移到另一个基准模型，这项方法能够在不同的基准模型族之间，甚至不同的参数优化方法之间，在各种任务上实现低秩适配器的转移。

    May, 2024

  • 大语言模型的贝叶斯低秩适应

    使用 Laplace-LoRA 方法，对参数高效微调的大型语言模型进行贝叶斯方法，提高模型的校准性。

    Aug, 2023

  • ALoRA: 为大型语言模型调整低秩适应

    通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。

    Mar, 2024

  • 隐私保护联邦学习中 LoRA 的改进

    在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

    Mar, 2024

  • FullLoRA-AT: 高效提升预训练视觉变换器的鲁棒性

    通过使用学习性的 LNLoRA 模块和 FullLoRA-AT 框架，本文提出了一种参数高效的对 Vision Transformer 模型进行对抗微调，以有效提高模型的鲁棒性。在 CIFAR-10，CIFAR-100 和 Imagenette 数据集上进行的广泛实验证明了本文方法的优越性。

    Jan, 2024