低秩重缩放视觉转换器微调：一种残差设计方法

Mar, 2024

低秩重缩放视觉转换器微调：一种残差设计方法

Low-Rank Rescaled Vision Transformer Fine-Tuning: A Residual Design Approach

Wei Dong, Xing Zhang, Bihui Chen, Dawei Yan, Zhijun Lin...

TL;DR利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。

Abstract

parameter-efficient fine-tuning for pre-trained vision transformers aims to adeptly tailor a model to downstream tasks by learning a minimal set of new adaptation parameters while preserving the frozen majority o

parameter-efficient fine-tuning pre-trained vision transformers singular value decomposition residual-based low-rank rescaling downstream image classification tasks

发现论文，激发创造

PELA: 学习具有低秩近似的参数高效模型

通过引入中间的预训练阶段，我们提出了一种新方法来增加预训练模型的参数效率，该方法通过低秩逼近来压缩原始的大模型，并设计了特征蒸馏模块和权重扰动正则化模块，以增强低秩模型。这种方法在保持基本架构的最小修改的同时，在所需参数和计算时间方面同时实现了效率，通常将原始参数大小减少 1/3 至 2/3，并降低约 0.6 个性能点。

Oct, 2023

LoRA-XS：低秩适应与极小参数

介绍了一种新的参数高效微调方法 LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比 LoRA 和 VeRA 等最新方法更具参数效率同时保持竞争性能。

May, 2024

自适应预算分配用于参数高效微调

提出 AdaLoRA 方法，以自适应方式在权重矩阵之间分配参数预算，以优化 NLP 的预先训练模型的参数更新问题，在多个自然语言处理任务中表现出显着优势。

Mar, 2023

参数高效微调无灾难性遗忘的自监督视觉迁移模型

人工神经网络经常面临灾难性遗忘的问题，其中视觉变换器尤其明显，我们通过两种参数高效的微调策略（块扩展和低秩适应）研究了如何解决这一问题，结果显示使用这些策略后的预训练视觉变换器在新领域具有更好的参数效率且能有效减轻灾难性遗忘。

Apr, 2024

视觉 Transformer 的参数高效模型适应

本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

Mar, 2022

针对视觉语言模型的任务残差调节

本篇论文提出了一种名为 Task Residual Tuning 的新的视觉语言模型的高效调整方法，其中通过保留原有分类器权重的方式，针对目标任务调整一组先独立参数作为原有分类器的残差，以实现可靠的先验知识保存和灵活的任务特定知识探索，并在 11 个基准数据集中显著优于当前的高效转移学习方法。

Nov, 2022

TriLoRA：在文本到图像生成中集成 SVD 的高级风格个性化

综合奇异值分解（Singular Value Decomposition）与低秩适应（Low-Rank Adaptation）参数更新策略，提高图像生成模型的微调效率和输出质量，改善模型的泛化能力和创造性灵活性，同时在受限资源条件下保持良好性能。

May, 2024

扩缩与移动特征：有效模型调优的新基准

提出了一种新的参数高效的调优方法（称为 SSF），仅需要缩放和移位预训练模型提取的深度特征即可达到与完全调优相同的性能。该方法仅在训练阶段添加可学习参数，并可以通过重新参数化将这些附加参数合并到原始预训练模型权重中，相比于完全调优表现出更好的性能，特别是对于少量的可调参数。在各种模型家族（CNN、Transformer 和 MLP）和数据集上进行的大量实验表明，SSF 的有效性。

Oct, 2022

大规模视觉变压器通过适配器重新组合的高效适应

高容量预训练模型的出现改变了计算机视觉中的问题解决方式，专注于训练特定任务的模型转变为调整预训练模型，因而有效地将大型预训练模型适应下游任务成为一个重要的研究领域；本研究提出了一种新颖的适配器重组（ARC）策略，从新的角度解决了高效预训练模型的适应问题，通过考虑适应参数的可重用性并引入参数共享方案，通过利用对称的下 -/ 上映射构建瓶颈操作从而实现层间参数共享，通过学习低维度的重新缩放系数，可以有效地重新组合层自适应的适配器，这种参数共享策略在适配器设计中允许显著减少新参数数量，同时保持令人满意的性能，从而提供了一种有前景的压缩适应成本的方法，通过在 24 个下游图像分类任务上使用各种 Vision Transformer 变种进行实验以评估我们的方法，结果表明我们的方法在减少参数数量的同时实现了令人信服的迁移学习性能。

Oct, 2023

低秩适应的连续学习

本文主要研究了基于预训练转换器的领域增量学习问题，在课题涉及的下游数据上，该方法表现出了令人印象深刻的性能，但当数据特征发生变化时，性能会下降；通过研究 Low Rank Adaptation（LoRA）在领域增量学习中的适用性，我们的基于 LoRA 的解决方案 CoLoR 在一系列领域增量学习基准测试中取得了最先进的性能，同时仍然与基于提示调整的方法一样参数高效。

Nov, 2023