FullLoRA-AT: 高效提升预训练视觉变换器的鲁棒性

Jan, 2024

FullLoRA-AT: 高效提升预训练视觉变换器的鲁棒性

FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers

Zheng Yuan, Jie Zhang, Shiguang Shan

TL;DR通过使用学习性的 LNLoRA 模块和 FullLoRA-AT 框架，本文提出了一种参数高效的对 Vision Transformer 模型进行对抗微调，以有效提高模型的鲁棒性。在 CIFAR-10，CIFAR-100 和 Imagenette 数据集上进行的广泛实验证明了本文方法的优越性。

Abstract

In recent years, the vision transformer (ViT) model has gradually become mainstream in various computer vision tasks, and the robustness of the model has received increasing attention. However, existing large mod

vision transformer robustness adversarial finetuning lnlora module fulllora-at framework

发现论文，激发创造

跟踪与 LoRA: 更快的训练、更大的模型、更强的性能

通过 LoRAT 方法，将 Vision Transformers (ViT) 应用于实验室级资源内的视觉跟踪，通过解决独特的挑战和潜在域差异，包括将位置嵌入分解为共享的空间嵌入和独立的类型嵌入，并设计了仅基于多层感知器 (MLP) 的自由锚定头进行适应，以提高性能并降低计算开销。

Mar, 2024

SuperLoRA: 多层注意力模块参数高效统一适应

提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。

Mar, 2024

Trans-LoRA: 迈向无数据条件下的可转移参数高效微调

通过使用合成数据集，我们提出了一种新的方法来无损地将低秩适配器模块从一个基准模型转移到另一个基准模型，这项方法能够在不同的基准模型族之间，甚至不同的参数优化方法之间，在各种任务上实现低秩适配器的转移。

May, 2024

ExPLoRA：参数高效的扩展预训练用于适应领域偏移的视觉变换器

通过使用 ExPLoRA 技术，在对卫星图像进行迁移学习时，只使用很少的参数数量，在无监督的预训练阶段只解冻 1-2 个预训练的 ViT 块和所有归一化层，然后通过 LoRA 微调所有其他层，最后只通过 LoRA 在新域上对模型进行微调，获得了基于先前完全训练和微调的 ViTs 的最先进结果。

Jun, 2024

关于大型模型的低秩适应的公平性

通过对视觉和语言领域的分类和生成任务进行广泛实验，我们发现低秩适应（LoRA）在许多情况下具有与基准模型或其完整微调基准相当甚至更好的公平性，但也引发了适当任务设计和模型成员偏差评估等公平性评估方面的复杂性。

May, 2024

LoRA: 大型语言模型的低秩适应

本文提出了一种低秩适应方法（Low-Rank Adaptation，简称 LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和 GPU 内存占用过高的问题。

Jun, 2021

参数高效微调无灾难性遗忘的自监督视觉迁移模型

人工神经网络经常面临灾难性遗忘的问题，其中视觉变换器尤其明显，我们通过两种参数高效的微调策略（块扩展和低秩适应）研究了如何解决这一问题，结果显示使用这些策略后的预训练视觉变换器在新领域具有更好的参数效率且能有效减轻灾难性遗忘。

Apr, 2024

HydraLoRA：一种用于高效微调的非对称 LoRA 架构

通过一系列实验，我们发现了两个关键的见解，揭示了 LoRA 的训练和参数效率问题，基于这些见解，我们开发了 HydraLoRA，这是一个具有不对称结构的 LoRA 框架，消除了对领域专业知识的需求，我们的实验表明，HydraLoRA 优于其他 PEFT 方法，即使在训练和推断阶段依赖领域知识的情况下。

Apr, 2024

基于矩阵变换的低秩适应（MTLoRA）：一种启发式的参数高效微调方法

该论文介绍了一种基于大规模预训练语言模型 (LPLMs) 的微调技术，通过矩阵变换的重新参数化方法 (MTLoRA) 在下游任务中提高模型性能，取得了显著的提升。

Mar, 2024

MTLoRA：一种用于高效多任务学习的低秩适应方法

本文介绍了一种新的多任务学习（MTL）模型的参数有效训练框架 MTLoRA，该框架通过使用任务无关和任务特定的低秩适应模块，在 MTL 微调中有效地解离参数空间，从而使模型能够熟练处理 MTL 环境中的任务专业化和交互，并且在 PASCAL 数据集上的广泛实验表明，MTLoRA 在减少可训练参数数量的同时，比对 MTL 模型进行全面微调在下游任务上具有更高的准确性，同时在准确性和效率方面优于当前最先进的参数有效训练方法。

Mar, 2024