Aug, 2023

选择哪种 Transformer：视觉 Transformer 效率的比较分析

PDF
TL;DR对视觉 Transformer 及相关架构的效率进行了综合分析，揭示了一系列有趣的见解，例如发现 ViT 在多个效率度量标准上仍然是最佳选择，同时低推理内存和参数数量时，混合注意力 - CNN 模型表现良好，模型大小的缩放比图像大小更为重要，FLOPS 与训练内存之间存在强正相关性。
vision transformersarchitectural modificationsefficiency-oriented transformershybrid attention-cnn modelsflops
发现论文，激发创造
  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使 Vision Transformer 高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • 纹理分析中视觉 Transformer 特征提取的比较调查

    该研究采用 21 个不同的预训练 Vision Transformer 架构，评估其在纹理识别中的性能，并与卷积神经网络和手工设计模型进行比较。结果显示，Vision Transformers 在纹理识别方面通常优于卷积神经网络和手工设计模型，尤其在使用更强的预训练和处理来自互联网的纹理任务时表现突出。其中，ViT-B with DINO pre-training，BeiTv2，Swin architecture 以及 EfficientFormer 被认为是更具潜力的模型。此外，尽管 GFLOPs 和参数数量较高，ViT-B 和 BeiT (v2) 在 GPU 上的特征提取时间比 ResNet50 更短，从而实现了更高的效率。

    Jun, 2024

  • 视觉 Transformers 是强大的学习器

    本文旨在研究 Vision Transformer 对常见的图像扰动、分布偏移和自然对抗样本的稳健性，并在六个不同的 ImageNet 数据集上与 SOTA 卷积神经网络进行性能比较，通过一系列六个系统设计的实验，提供了定量和定性的分析来解释 ViT 为什么是更加稳健的学习器。

    May, 2021

  • ViTs 随处可见：综合研究展示不同领域中的视觉 Transformer

    Transformer 设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于 Transformer 的 Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

    Oct, 2023

  • Visformer：基于 Transformer 的视觉友好型模型

    通过将 Transformer 模型逐步转化为基于卷积的模型，进行经验证实验表明，命名为 Visformer 的新架构比 Transformer 模型和卷积模型在 ImageNet 分类准确性方面表现更佳，尤其是当模型复杂度较低或者训练集较小时。

    Apr, 2021

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 视觉 Transformer 的最新进展：近期研究的综述和展望

    本文介绍了近期表现最佳的 Vision Transformers 方法，对其强弱项、计算成本、训练和测试数据集进行了全面综述，并在流行基准数据集上与各种 ViT 算法以及代表性 CNN 方法的性能进行了充分比较，最后讨论了一些局限性和提出了未来研究方向。

    Mar, 2022

  • 高效 ViT: 带级联分组注意力的内存高效视觉 Transformer

    本研究提出一种高速的视觉 Transformer 模型 EfficientViT，通过优化 Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得良好的平衡。

    May, 2023

  • Efficiency 360: 高效率视觉 Transformer

    本文主要介绍 Transformers 在记忆效率、计算成本和性能方面的高效性，特别讨论了视觉 Transformer 用于图像分类任务，并提出了一个有效的 360 框架以使其更适用于工业应用。作者将这些应用程序归类为多个维度，如隐私、稳健性、透明度、公平性、包容性、持续学习、概率模型、近似、计算复杂性和光谱复杂性，并在多个数据集上比较各种视觉变换器模型的性能、参数数和浮点运算次数（FLOPs）。

    Feb, 2023

  • 卷积神经网络和视觉变换器在时尚 MNIST 分类中的应用：文献综述

    对卷积神经网络（CNN）和视觉 Transformer（ViT）在图像分类领域的比较分析进行了研究，特别关注电子商务行业中的服装分类。通过使用时尚 MNIST 数据集，研究了 CNN 和 ViT 的独特属性。研究发现，CNN 长期以来一直是图像分类的基石，而 ViT 引入了一种创新的自注意机制，可以对不同输入数据组件进行细致的加权。既有文献的综合分析揭示了 ViT 和 CNN 在图像分类领域的区别，同时研究了使用这两种架构的最新方法，旨在确定 ViT 和 CNN 在电子商务行业中对时尚 MNIST 数据集进行图像分类的最合适架构。本研究强调了将这两种架构以不同形式结合以提高整体性能的重要性，因为 CNN 擅长识别局部模式，而 ViT 擅长抓住整体上下文，这使得它们的组合成为提高图像分类性能的一种有前途的策略。

    Jun, 2024