Sep, 2023

视觉转换器适应的高效低秩反向传播

PDF
TL;DR提出了一种名为 LBP-WHT 的新方法来加速 Vision Transformers（ViT）的 Fine-tuning 过程，通过将梯度投影到低秩空间来显著减少计算需求，实验证明该方法在多个数据集上有效，并与其他方法相结合以取得更好性能。
vision transformersfine-tuningmatrix multiplicationlow-rank backpropagationefficientformer-l1
发现论文，激发创造
  • HLQ: 基于 Hadamard 低秩量化的快速高效反向传播

    通过引入一种名为 Hadamard Low-rank Quantization (HLQ) 的优化策略，该研究主要关注在降低卷积和线性层的反向传播成本，在从头训练和微调过程中实现显著的内存节省和加速，并且获得了卓越的性能表现。

    Jun, 2024

  • 卷积旁路更好的视觉 Transformer 适配器

    本文提出使用卷积旁路（Convpass）在预训练的 Vision Transformer 中作为适应模块，这个方法只需要少量可训练参数即可适应大型 Vision Transformer，其表现优于当前的适应模块，并证明为了适应视觉模型需要定制视觉定向的适应模块。

    Jul, 2022

  • 时间、内存和参数高效的视觉适应

    我们提出了一个不需要反向传播梯度的适应方法，该方法在参数、训练时间和内存使用方面都非常高效，并且在 VTAB 基准测试中实现了极好的准确性 - 参数折衷，并展示了在视频分类等计算密集型任务中对于训练效率和可扩展性上的优越性。

    Feb, 2024

  • Wave-ViT：融合小波和 Transformer 的视觉表示学习

    本研究通过构建 Wavelet Vision Transformer 来处理多尺度视觉问题，使用小波变换实现可逆下采样，同时结合局部上下文信息提高自注意力计算结果，结果表明其在图像识别等多种任务上表现优异。

    Jul, 2022

  • LRP-QViT：基于逐层相关传播的混合精度视觉 Transformer 量化

    LRP-QViT 是一种基于可解释性的方法，为不同层分配混合精度位分配，该方法通过将局部相关性分数传播到所有层，计算层的贡献分数，进而通过剪切通道的量化消除严重的通道间差异。该方法在 ViT、DeiT 和 Swin transformer 模型上进行实验验证，结果表明在 4 位和 6 位量化情况下，我们的后训练量化方法超过了现有模型。

    Jan, 2024

  • Q-HyViT: 桥接块重构的混合视觉 Transformer 后训练量化

    为了解决 vision transformers 在移动设备上的高计算需求问题，我们提出了一种新的 post-training quantization 方法，成功地让 efficient hybrid vision transformers（MobileViTv1 和 MobileViTv2）的平均准确性有了显著提高（达到 7.75%），我们将在指定的网址上发布我们的代码。

    Mar, 2023

  • 使用视觉 Transformer 学习不平衡数据

    该论文介绍了一种名为 LiVT 的模型，使用 Long-Tailed 数据进行训练，其中使用了 Masked Generative Pretraining (MGP) 和 Balanced Binary Cross Entropy (Bal-BCE) 来优化模型性能，结果表明该模型在 iNaturalist 2018 上的 Top-1 准确率可达 81.0%。

    Dec, 2022

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使 Vision Transformer 高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • LightViT: 轻量化无卷积视觉 Transformer

    本研究提出了一种名为 LightViT 的轻量化 transformer 网络，通过全局有效聚合策略结合注意力机制和多维度的通道 / 空间注意力机制来捕捉全局依赖信息，从而实现更好的准确性和效率平衡。实验证明，该模型在图像分类、目标检测和语义分割任务中均取得了显著的提升。

    Jul, 2022

  • 具有分层池化的可扩展视觉 Transformer

    本研究提出了 Hierarchical Visual Transformer (HVT) 模型，通过逐步分池视觉标记以缩短序列长度降低计算成本，从而改进了图像分类任务的性能，并在 ImageNet 和 CIFAR-100 数据集上实现了与竞争基线相比更好的结果。

    Mar, 2021