CVPRFeb, 2023

可逆视觉 Transformer

PDF
TL;DR本文介绍一种内存高效的 Reversible Vision Transformer 架构设计，将模型深度与 GPU 内存需求解耦，能够通过有效地内存使用扩展架构。在图像分类、物体检测和视频分类等多个任务中进行了广泛基准测试，表明可实现模型复杂度、参数和准确性基本相同的情况下，内存占用减少了多达 15.5 倍，Reversible Vision Transformers 是硬件资源有限培训方案的高效支撑，为更深的模型提供了更快的吞吐量。
发现论文，激发创造
  • 选择哪种 Transformer：视觉 Transformer 效率的比较分析

    对视觉 Transformer 及相关架构的效率进行了综合分析，揭示了一系列有趣的见解，例如发现 ViT 在多个效率度量标准上仍然是最佳选择，同时低推理内存和参数数量时，混合注意力 - CNN 模型表现良好，模型大小的缩放比图像大小更为重要，FLOPS 与训练内存之间存在强正相关性。

    Aug, 2023

  • Visformer：基于 Transformer 的视觉友好型模型

    通过将 Transformer 模型逐步转化为基于卷积的模型，进行经验证实验表明，命名为 Visformer 的新架构比 Transformer 模型和卷积模型在 ImageNet 分类准确性方面表现更佳，尤其是当模型复杂度较低或者训练集较小时。

    Apr, 2021

  • 一种部分可逆的 U-Net 用于内存高效的体积图像分割

    在 3D 卷积神经网络分割方面，一种部分可逆的 U-Net 架构通过减小内存消耗实现了深度增强并提高了分割准确性，在 BraTS 挑战数据集上展示出了很大的内存节省。

    Jun, 2019

  • 多尺度视觉变换器

    Multiscale Vision Transformers 是一种用于视频和图像识别的多尺度特征层级转换器，它可基于视觉信号的密集性建模逐渐展开通道容量和降低空间分辨率得到的多尺度特征金字塔，它能优于大规模的外部预训练及在计算和参数方面更为昂贵的传统视觉转换器。

    Apr, 2021

  • 稠密预测的视觉 Transformer

    本文提出了稠密视觉 Transformer（dense vision transformers）作为密集预测任务的主干网络，相对于全卷积网络，该结构以恒定和较高的分辨率处理表示，并在每个阶段具有全局感受野。在单眼深度估计和语义分割任务上，我们的实验表明，该结构在有大量训练数据的情况下能够显着提高性能，是一种大有前途的新型神经网络结构。

    Mar, 2021

  • 高效 ViT: 带级联分组注意力的内存高效视觉 Transformer

    本研究提出一种高速的视觉 Transformer 模型 EfficientViT，通过优化 Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得良好的平衡。

    May, 2023

  • Efficiency 360: 高效率视觉 Transformer

    本文主要介绍 Transformers 在记忆效率、计算成本和性能方面的高效性，特别讨论了视觉 Transformer 用于图像分类任务，并提出了一个有效的 360 框架以使其更适用于工业应用。作者将这些应用程序归类为多个维度，如隐私、稳健性、透明度、公平性、包容性、持续学习、概率模型、近似、计算复杂性和光谱复杂性，并在多个数据集上比较各种视觉变换器模型的性能、参数数和浮点运算次数（FLOPs）。

    Feb, 2023

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使 Vision Transformer 高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • 使用视觉 Transformer 进行高效的 3D 物体重建

    使用视觉 transformer 替代卷积在现有的高效，高性能的 3D 目标重建技术中，预测三维结构并取得类似或优于基线方法的准确度，表明视觉 transformer 在三维目标重建任务中有着巨大的潜力。

    Feb, 2023

  • 压缩视觉 Transformer 用于低资源视觉学习

    通过使用模型压缩技术，本研究旨在实现对视觉转换器在资源受限设备上的快速推理，以在边缘环境中将其部署在无人机上，并以最小的准确性损失，以便在监视、环境监测等领域开辟新的可能性。

    Sep, 2023