Nov, 2023

聚合、分解和微调：一种简单而有效的视觉 Transformer 因子调整方法

PDF
TL;DR在视觉转换器（ViT）的背景下，最近的研究进展揭示了一些张量分解参数有效微调方法（如 LoRA 和 FacT）的有效性。然而，这些方法在解决内部和跨层冗余的挑战方面存在问题。为了解决这个问题，我们引入了 EFfective Factor-Tuning（EFFT），这是一种简单而有效的微调方法。在 VTAB-1K 数据集中，我们的 EFFT 超过了所有基准，以仅有 0.28％的参数的全面微调中取得了 75.9％的 top-1 准确率的分类平均。考虑到 EFFT 的简洁性和有效性，它具有作为基础基准的潜力。代码和模型现在可以在指定的链接中获得。
发现论文，激发创造
  • FacT：面向视觉 Transformer 的轻量化因子调整

    本研究针对实际应用中的存储压力，提出了一种张量分解框架，称为 Factor-Tuning（FacT），通过将 ViT 的权重张量化为一个 3D 张量，并将它们的增量分解为轻量级因子，从而实现 PETL 的极限存储效率，实验结果表明，FacT 在少量可训练参数（0.01%）的情况下，表现优于全微调和许多其他 PETL 方法，并在少样本学习中显示其强大的能力.

    Dec, 2022

  • 稀疏调整：用高效的微调和推理调整视觉 Transformer

    Sparse-Tuning 是一种新的调优范式，通过稀疏保存信息标记并合并冗余标记，提高对前景的关注并降低背景区域的计算成本，实现了对预训练的 ViT 模型进行高效的微调和推断，同时具备了现有方法无法满足的 GPU 内存和时间效率要求。

    May, 2024

  • E^2VPT: 一种有效高效的图像提示调整方法

    提出了一种有效和高效的视觉提示调整 (E^2VPT) 方法来实现大规模基于 Transformer 的模型适应，该方法通过引入一组可学习的键值提示和视觉提示分别到自注意力和输入层，以提高模型微调的效果，并设计了提示修剪程序来系统地修剪低重要性的提示，同时保持模型性能，极大地提升了模型的效率。实证结果表明，我们的方法在两个基准测试上优于几种最先进的基线模型，并且参数使用非常低 (例如，在 VTAB-1k 上，模型参数的 0.32%)。

    Jul, 2023

  • 预训练视觉模型的参数高效微调：一项调查

    规模化预训练视觉模型（PVMs）在各种下游视觉任务中表现出很大的适应性。然而，随着最先进的 PVMs 达到数十亿甚至数万亿参数，传统的完全微调范式变得难以持续，因为其需要巨大的计算和存储需求。为了应对这一挑战，研究人员正在探索参数高效的微调（PEFT），旨在通过最小的参数修改超越完全微调的性能。本调查提供了对视觉 PEFT 的综合概述和未来方向，对最新的进展进行了系统回顾。首先，我们提供了 PEFT 的正式定义，并讨论了模型预训练方法。然后，我们将现有方法分为三类：基于添加的、基于部分的和基于统一的。最后，我们介绍了常用的数据集和应用，并提出了未来研究的潜在挑战。所有相关资源可以在该链接中找到。

    Feb, 2024

  • 参数效率少样本微调的强基线

    本文通过一系列超过 1.8k 个控制实验，对少样本图像分类的 PEFT（参数效率微调）方法进行了大规模、实验一致的经验分析，发现只微调层归一化参数及学习一组每个注意力矩阵的缩放参数的方法，成为 Vision Transformer 预训练模型最强大的微调方法。此外，对于自监督 ViTs，我们发现仅学习每个注意力矩阵的缩放参数和一个 Domain-residual adapter（DRA）模块即可实现无与伦比的性能表现，而模型可参数化程度更高。

    Apr, 2023

  • 因式分解视觉转换器：通过局部窗口成本建模远距依赖

    我们提出了一种新颖的分解自我注意力机制 (FaSA)，它具有本地窗口的计算成本和远程依赖建模能力。利用 FaSA，我们提出了层次结构的分解视觉 Transformer (FaViT)，它在输入图像空间分辨率方面具有线性计算复杂性，并在分类和下游任务中表现出卓越性能。与基准模型 Swin-T 相比，我们的 FaViT-B2 在分类精度上提高了 1％，在鲁棒性上提高了 7％，同时减少了 14％的模型参数。

    Dec, 2023

  • 视觉语言预训练模型参数高效微调的实证研究

    最近的研究应用了参数高效微调技术（PEFTs）来有效缩小预训练和下游任务之间的性能差距。该研究发现，对于与预训练一致的下游微调任务，数据规模不再影响性能，而可微参数规模的影响并不单调，这种观察可指导 PEFTs 的训练策略选择。

    Mar, 2024

  • 少为佳：参数高效微调提升医学视觉基础模型

    通过应用参数高效微调（Parameter-efficient fine-tuning）方法于胸部放射学基础模型上，研究表明该方法在少于 1% 的可调参数下，比完全参数微调（full-parameter fine-tuning）方法在 18 个迁移学习任务中有更好的性能，在 NIH ChestX-ray14 数据集上获得了 80.6% 的 AUROC 分数，希望引起社区对于在医学成像任务中使用参数高效微调方法的更多关注。

    Jan, 2024

  • COMCAT：注重效率的基于注意力机制的视觉模型压缩和定制化

    本文提出了一种高效的 ViT 压缩解决方案，该方法基于多头注意力层的新见解开发，可用于获得紧凑的基于注意力的视觉模型，并在图像分类任务中取得比最先进的剪枝方法更高的准确性。

    May, 2023

  • 部分微调：视觉 Transformer 的一种替代方案

    局部微调可以同时提高效率和准确性，选取适合的层对局部微调至关重要。通过引入新的微调角度度量，可以灵活适应各种场景用于更实用的局部微调，同时提高模型性能和泛化能力，减少微调参数。实验证明了局部微调的巨大潜力。

    Dec, 2023