ECCVJul, 2022

Wave-ViT：融合小波和 Transformer 的视觉表示学习

PDF
TL;DR本研究通过构建 Wavelet Vision Transformer 来处理多尺度视觉问题，使用小波变换实现可逆下采样，同时结合局部上下文信息提高自注意力计算结果，结果表明其在图像识别等多种任务上表现优异。
multi-scale vision transformerself-attention computationdown-sampling operationswavelet vision transformerimage recognition
发现论文，激发创造
  • 基于傅里叶域分析的深度视觉变换器中的防过度平滑技术：从理论到实践

    本研究针对 Vision Transformer 深度增加时性能达到饱和的问题提出了两种有效而无需超参数的技术 AttnScale 和 FeatScale，能够有效克服与注意力折叠和补丁均匀性等相关的 ViT 训练伪像。

    Mar, 2022

  • LightViT: 轻量化无卷积视觉 Transformer

    本研究提出了一种名为 LightViT 的轻量化 transformer 网络，通过全局有效聚合策略结合注意力机制和多维度的通道 / 空间注意力机制来捕捉全局依赖信息，从而实现更好的准确性和效率平衡。实验证明，该模型在图像分类、目标检测和语义分割任务中均取得了显著的提升。

    Jul, 2022

  • 统一视觉 Transformer 压缩

    本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技​​​​术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

    Mar, 2022

  • MiniViT: 基于权重复用压缩视觉 Transformer

    提出 MiniViT 压缩框架，利用权重多路复用和自注意力权重蒸馏相结合，显著减少参数数量，同时在视觉任务中保持高精度，找到解决 Vision Transformer 参数过多的问题的方法。

    Apr, 2022

  • DeepViT: 朝更深层次的 Vision Transformer 进发

    本文发现 Vision transformers 模型存在 attention collapse issue 现象，即 transformer 模型越深层次的注意力权重变得越相似，严重影响模型性能，提出了一种名为 Re-attention 的有效方法来解决该问题，使得 32 层的 Vision transformers 模型在 ImageNet 数据集的 Top-1 分类准确率上提高了 1.6%。

    Mar, 2021

  • WaveMix: 图像资源高效的 Token 混合

    WaveMix 是一种采用多尺度 2D 离散小波变换 (DWT) 进行空间令牌混合的替代神经架构，与卷积神经网络 (CNNs) 和 ViTs 相比，在多个数据集上表现出了与它们相当甚至更好的泛化性同时需要更少的计算和存储

    Mar, 2022

  • 具有分层池化的可扩展视觉 Transformer

    本研究提出了 Hierarchical Visual Transformer (HVT) 模型，通过逐步分池视觉标记以缩短序列长度降低计算成本，从而改进了图像分类任务的性能，并在 ImageNet 和 CIFAR-100 数据集上实现了与竞争基线相比更好的结果。

    Mar, 2021

  • 视觉 Transformer 的每个阶段只需要更少的注意力

    Vision Transformers (ViTs) have revolutionized computer vision, but their computational complexity and attention saturation issues limit their practical application. The Less-Attention Vision Transformer (LaViT) proposes a novel approach that reduces the number of attention operations and leverages previously calculated attention scores, resulting in superior efficiency and performance across vision tasks.

    Jun, 2024

  • ScalableViT: 重思视觉 Transformer 的面向上下文的泛化

    本文提出了可扩展的自注意力机制 (SSA) 和交互窗口自注意力 (IWSA) 机制以及它们的堆叠模型 Scalable Vision Transformer (ScalableViT)，并在 ImageNet-1K 分类任务上超越了目前最先进的 Twins-SVT-S 和 Swin-T 模型。

    Mar, 2022

  • Bi-ViT: 推动视觉 Transformer 量化极限

    介绍一种专门用于大规模预训练模型在硬件受限设备上快速部署的量化方法，并提出一种基于可训练缩放因子和排名感知蒸馏的 Binarized ViT 模型。该方法在 ImageNet 等数据集上都取得了较高的 Top-1 准确率，并在 FLOPs 方面获得了显著的理论加速。

    May, 2023