Feb, 2023

Efficiency 360: 高效率视觉 Transformer

PDF
TL;DR本文主要介绍 Transformers 在记忆效率、计算成本和性能方面的高效性，特别讨论了视觉 Transformer 用于图像分类任务，并提出了一个有效的 360 框架以使其更适用于工业应用。作者将这些应用程序归类为多个维度，如隐私、稳健性、透明度、公平性、包容性、持续学习、概率模型、近似、计算复杂性和光谱复杂性，并在多个数据集上比较各种视觉变换器模型的性能、参数数和浮点运算次数（FLOPs）。
transformersmemory efficiencycomputation costperformancevision transformer
发现论文，激发创造
  • 选择哪种 Transformer：视觉 Transformer 效率的比较分析

    对视觉 Transformer 及相关架构的效率进行了综合分析，揭示了一系列有趣的见解，例如发现 ViT 在多个效率度量标准上仍然是最佳选择，同时低推理内存和参数数量时，混合注意力 - CNN 模型表现良好，模型大小的缩放比图像大小更为重要，FLOPS 与训练内存之间存在强正相关性。

    Aug, 2023

  • 视觉中的 Transformer：一项综述

    本次研究对变压器模型在计算机视觉方面的应用进行了全面的回顾，包括自我关注、大规模预训练和双向编码等基础概念及其在图像分类、视频处理等多个领域的广泛应用。研究比较了不同技术在架构设计及实验价值方面的优缺点，并提出了未来的研究方向。

    Jan, 2021

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使 Vision Transformer 高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • 值得信赖的视觉语言模型的探险：一项调查

    通过三个基本原则（偏见、鲁棒性和可解释性）对视觉 - 语言变压器进行深入研究，以提高它们的可靠性和可信度。

    Dec, 2023

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • 图像分类任务中视觉 Transformer 的全面研究

    综述了关于视觉变换器用于图像分类的现有研究，包括图像分类数据集，视觉变换器模型的发展历程和未来研究机会。

    Dec, 2023

  • 自然语言处理中 Transformer 的效率综述

    该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。

    May, 2024

  • Vision Transformers 三要素

    本文提出了三种易于实现的视觉 Transformer 变体。第一，可以在不降低精度的情况下并行处理视觉 Transformer 的残差层。第二，对注意力层的权重进行微调就足以适应更高分辨率和其他分类任务，这节省了计算量，减少了微调时的峰值内存消耗，并允许跨任务共享大部分权重。第三，添加基于 MLP 的补丁预处理层，可提高基于补丁掩模的 Bert 式自监督训练效果。作者使用 ImageNet-1k 数据集评估了这些设计选择的影响，并在 ImageNet-v2 测试集上确认了研究发现。文章在六个较小的数据集上评估了转移性能。

    Mar, 2022

  • 视觉 Transformer 的参数高效模型适应

    本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

    Mar, 2022

  • 关于视觉 Transformer 的调查

    本文回顾了将 Transformer 应用于计算机视觉任务中的视觉 Transformer 模型，并分为不同任务类别，分析它们的优点和缺点，同时也介绍了将 Transformer 应用到实际设备应用的有效方法。最后，本文还探讨了计算机视觉中的自注意机制以及视觉 Transformer 面临的挑战及进一步研究方向。

    Dec, 2020