HEAT: 头部层级参数高效调整视觉 Transformer 并利用泰勒展开法的重要性评分

Apr, 2024

HEAT: 头部层级参数高效调整视觉 Transformer 并利用泰勒展开法的重要性评分

HEAT: Head-level Parameter Efficient Adaptation of Vision Transformers with Taylor-expansion Importance Scores

Yibo Zhong, Yao Zhou

TL;DR使用 Head-level Efficient Adaptation with Taylor-expansion importance score (HEAT) 方法，通过计算每个头部的重要性得分来高效微调视觉转换器（ViTs），这种方法在计算机视觉和参数高效转移学习方面取得了优越的性能。

Abstract

Prior computer vision research extensively explores adapting pre-trained vision transformers (ViT) to downstream tasks. However, the substantial number of parameters requiring adaptation has led to a focus on Parameter Efficient Transfer Learning (PETL) as an approach to efficiently ad

computer vision parameter efficient transfer learning pre-trained models taylor-expansion importance score transformer architectures

发现论文，激发创造

视觉变压器的分层侧调节

通过轻量级分层侧网络（HSN）对 Visual Transformers 进行 Hierarchical Side-Tuning (HST) fine-tuning，实现了在各种下游任务中解决计算和内存需求大的问题，包括对象检测、实例分割和语义分割，取得了优于完全微调方法的性能。

Oct, 2023

HeatViT：面向视觉 Transformer 的硬件高效自适应 Token 剪枝

本文提出了一种硬件高效的图像自适应标记修剪框架 HeatViT，以在嵌入式 FPGA 上实现高效而准确的 ViT 加速，通过显著重复利用现有硬件组件来实现标记选择器，使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块，使模型在硬件上不仅提高了准确性和推理延迟，而且还可在与现有计算成本相似的情况下获得更高的准确性或在与相似模型准确性相似的情况下实现更高的计算量减少。

Nov, 2022

FacT：面向视觉 Transformer 的轻量化因子调整

本研究针对实际应用中的存储压力，提出了一种张量分解框架，称为 Factor-Tuning（FacT），通过将 ViT 的权重张量化为一个 3D 张量，并将它们的增量分解为轻量级因子，从而实现 PETL 的极限存储效率，实验结果表明，FacT 在少量可训练参数（0.01%）的情况下，表现优于全微调和许多其他 PETL 方法，并在少样本学习中显示其强大的能力.

Dec, 2022

视觉 Transformer 的参数高效模型适应

本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

Mar, 2022

稀疏调整：用高效的微调和推理调整视觉 Transformer

Sparse-Tuning 是一种新的调优范式，通过稀疏保存信息标记并合并冗余标记，提高对前景的关注并降低背景区域的计算成本，实现了对预训练的 ViT 模型进行高效的微调和推断，同时具备了现有方法无法满足的 GPU 内存和时间效率要求。

May, 2024

PVP：预训练的视觉参数高效微调

本研究提出了一种基于先前训练模型的视觉快速参数调整 (PVP) 框架，可有效降低由于高计算和存储成本带来的计算和存储成本，并在低数据环境下实现优异的结果，特别是在贫瘠的视觉分类领域中。

Apr, 2023

探索密集预测的参数，记忆和时间高效适配器调整：参数高效并不足够

本文提出了一种名为 E3VA 的参数、内存和时间高效的视觉适配器调节方法，通过梯度反向传播高速公路实现低秩适配器，可以在保持模型性能相当的情况下，节省高达 62.2% 的训练存储器和 26.2% 的训练时间。

Jun, 2023

参数高效微调无灾难性遗忘的自监督视觉迁移模型

人工神经网络经常面临灾难性遗忘的问题，其中视觉变换器尤其明显，我们通过两种参数高效的微调策略（块扩展和低秩适应）研究了如何解决这一问题，结果显示使用这些策略后的预训练视觉变换器在新领域具有更好的参数效率且能有效减轻灾难性遗忘。

Apr, 2024

针对 ViT 适应的参数和推理效率的动态调整

现有的参数高效微调（PEFT）方法通过提高参数效率，在视觉变换器（ViTs）适应中取得了显著的成功，然而，在适应过程中改善推理效率的探索仍未充分开展，这限制了预训练 ViT 模型的广泛应用，特别是在计算上耗费较多的情况下。在本文中，我们提出了一种名为动态调整 (DyT) 的新方法，来改善 ViT 适应的参数和推理效率。具体而言，除了使用轻量级适配器模块外，我们还提出了一个标记分发器，用于区别信息丰富的标记和不重要的标记，从而使后者动态跳过原始块，减少推理过程中的冗余计算。此外，我们探索了多种设计变体以找到 DyT 的最佳实践。最后，受混合专家（MoE）机制的启发，我们引入了一个增强的适配器以进一步提高适应性能。我们在包括图像 / 视频识别和语义分割在内的各种任务中验证了 DyT。例如，在 VTAB-1K 基准测试中，DyT 在触发 71％-85％的 FLOPs 的情况下实现了与现有 PEFT 方法相当或甚至更优越的性能。

Mar, 2024

可扩展的视觉 Transformer

本研究通过对 Vision Transformer 模型以及数据集的扩充和缩小，以及其误差率、数据和计算之间的关系进行表征，提高了模型的精度和训练效果，并最终成功训练出一个包含 20 亿参数的 ViT 模型，在 ImageNet 数据集上取得了 90.45% 的 top-1 精度。同时，ViT 模型能够在 few-shot transfer 任务中有良好表现，例如在每个类别只有 10 个示例的情况下，能够达到 84.86% 的 top-1 精度。

Jun, 2021