现有的参数高效微调（PEFT）方法通过提高参数效率，在视觉变换器（ViTs）适应中取得了显著的成功，然而，在适应过程中改善推理效率的探索仍未充分开展，这限制了预训练 ViT 模型的广泛应用，特别是在计算上耗费较多的情况下。在本文中，我们提出了一种名为动态调整 (DyT) 的新方法，来改善 ViT 适应的参数和推理效率。具体而言，除了使用轻量级适配器模块外，我们还提出了一个标记分发器，用于区别信息丰富的标记和不重要的标记，从而使后者动态跳过原始块，减少推理过程中的冗余计算。此外，我们探索了多种设计变体以找到 DyT 的最佳实践。最后，受混合专家（MoE）机制的启发，我们引入了一个增强的适配器以进一步提高适应性能。我们在包括图像 / 视频识别和语义分割在内的各种任务中验证了 DyT。例如，在 VTAB-1K 基准测试中，DyT 在触发 71％-85％的 FLOPs 的情况下实现了与现有 PEFT 方法相当或甚至更优越的性能。

Mar, 2024

通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

Dec, 2023

本文提出了一种任务不可知的生成稀疏掩码的方法，仅使用预训练参数的振幅信息，可以显著提高性能和存储效率，并引入了一种新颖的适配器技术，可以直接应用于预训练参数，与全细调速度相同。

May, 2023

本研究提出了一种基于先前训练模型的视觉快速参数调整 (PVP) 框架，可有效降低由于高计算和存储成本带来的计算和存储成本，并在低数据环境下实现优异的结果，特别是在贫瘠的视觉分类领域中。

Apr, 2023

规模化预训练视觉模型（PVMs）在各种下游视觉任务中表现出很大的适应性。然而，随着最先进的 PVMs 达到数十亿甚至数万亿参数，传统的完全微调范式变得难以持续，因为其需要巨大的计算和存储需求。为了应对这一挑战，研究人员正在探索参数高效的微调（PEFT），旨在通过最小的参数修改超越完全微调的性能。本调查提供了对视觉 PEFT 的综合概述和未来方向，对最新的进展进行了系统回顾。首先，我们提供了 PEFT 的正式定义，并讨论了模型预训练方法。然后，我们将现有方法分为三类：基于添加的、基于部分的和基于统一的。最后，我们介绍了常用的数据集和应用，并提出了未来研究的潜在挑战。所有相关资源可以在该链接中找到。

Feb, 2024

本文旨在从减小训练存储开销和推理复杂度的角度，提出一种先将 Vision transformers 稀疏化，然后再训练的方法，从而实现一定的加速效果并保持较高的精度。

Jun, 2021

本研究针对实际应用中的存储压力，提出了一种张量分解框架，称为 Factor-Tuning（FacT），通过将 ViT 的权重张量化为一个 3D 张量，并将它们的增量分解为轻量级因子，从而实现 PETL 的极限存储效率，实验结果表明，FacT 在少量可训练参数（0.01%）的情况下，表现优于全微调和许多其他 PETL 方法，并在少样本学习中显示其强大的能力.

Dec, 2022

本文通过一系列超过 1.8k 个控制实验，对少样本图像分类的 PEFT（参数效率微调）方法进行了大规模、实验一致的经验分析，发现只微调层归一化参数及学习一组每个注意力矩阵的缩放参数的方法，成为 Vision Transformer 预训练模型最强大的微调方法。此外，对于自监督 ViTs，我们发现仅学习每个注意力矩阵的缩放参数和一个 Domain-residual adapter（DRA）模块即可实现无与伦比的性能表现，而模型可参数化程度更高。

Apr, 2023

基于 LVM 的 Sparsity 和 Hybridity 特性，利用 SH-PEFT 方法在医学诊断中通过训练少量的权重，超越了全模型微调，并达到了同其他针对特定医学任务优化的模型可比较的性能，表明大型模型传输在医学诊断中具有巨大潜力。

May, 2024

该文介绍了一种基于感知度的视觉参数调整方案（SPT），该方案可以自适应地将可训练参数分配给特定任务的重要位置，该方法可以有效降低模型存储和优化的难度，并可以取得较好的识别性能。

Mar, 2023