Oct, 2024

用于高效视觉识别的big.LITTLE视觉变换器

HTML
PDF
TL;DR本文提出了一种新的架构——big.LITTLE视觉变换器，旨在解决高效视觉识别的问题。该研究通过动态推理机制，使关键token由高性能模块处理，而低价值token则由高效模块处理，从而显著降低计算负荷，同时保持模型的整体性能。实验结果表明，该架构在大规模视觉识别任务中实现了高准确性和显著的计算节省，展示了混合模型在优化计算与性能方面的潜力。
发现论文，激发创造
  • 基于Transformer的目标检测

    本文研究使用纯Transformer模型实现复杂视觉任务中的目标检测，发现Vision Transformer作为骨干网在检测任务上可以产生与传统卷积网络相媲美的结果，而且能够保持更高的图像分辨率。

    Dec, 2020

  • 视觉中的Transformer：一项综述

    本次研究对变压器模型在计算机视觉方面的应用进行了全面的回顾，包括自我关注、大规模预训练和双向编码等基础概念及其在图像分类、视频处理等多个领域的广泛应用。研究比较了不同技术在架构设计及实验价值方面的优缺点，并提出了未来的研究方向。

    Jan, 2021

  • 动态Transformer用于高效图像识别：并非所有图像都相当于16x16个单词

    本文提出了一种名为Dynamic Transformer的方法，通过将多个变压器级联并在测试时以自适应方式逐个激活它们，自动配置每个输入图像的适当标记数。在ImageNet，CIFAR-10和CIFAR-100上的广泛实证结果表明，我们的方法在理论计算效率和实际推理速度方面显着优于竞争基线。

    May, 2021

  • AdaViT: 自适应视觉Transformer用于高效图像识别

    本文提出了AdaViT，一个自适应的计算框架，旨在提高视觉变换器的推理效率，而只有0.8％的准确率下降，并在不同的计算预算条件下实现了良好的效率/准确性平衡。

    Nov, 2021

  • TinyViT：小型视觉Transformer的快速预训练蒸馏

    TinyViT是一种新型的、基于快速蒸馏框架的小型视觉Transformer，通过使用蒸馏预训练模型的知识迁移以及对计算和参数进行限制，能够在减少参数数量的情况下依然具有较高的准确性，并且能够在多种下游任务中得到很好的转移效果。

    Jul, 2022

  • 可逆视觉Transformer

    本文介绍一种内存高效的Reversible Vision Transformer架构设计，将模型深度与GPU内存需求解耦，能够通过有效地内存使用扩展架构。在图像分类、物体检测和视频分类等多个任务中进行了广泛基准测试，表明可实现模型复杂度、参数和准确性基本相同的情况下，内存占用减少了多达15.5倍，Reversible Vision Transformers是硬件资源有限培训方案的高效支撑，为更深的模型提供了更快的吞吐量。

    Feb, 2023

  • 选择哪种Transformer：视觉Transformer效率的比较分析

    对视觉Transformer及相关架构的效率进行了综合分析，揭示了一系列有趣的见解，例如发现ViT在多个效率度量标准上仍然是最佳选择，同时低推理内存和参数数量时，混合注意力-CNN模型表现良好，模型大小的缩放比图像大小更为重要，FLOPS与训练内存之间存在强正相关性。

    Aug, 2023

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使Vision Transformer高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • 可扩展的视觉语言建模单一变压器

    SOLO是一种用于可伸缩视觉-语言建模的单一Transformer，其在扩展性上有效地解决了视觉-语言模型中的瓶颈问题，尤其在视觉数学推理方面表现出色。

    Jul, 2024

  • LowFormer：高效的卷积变压器骨干网设计

    本研究旨在解决现有视觉骨干网在速度与准确性之间的权衡问题，通过分析硬件效率而非单纯依赖于MACs来评估模型性能。从宏观与微观设计入手，我们提出了一种新的硬件高效骨干网架构LowFormer，该架构在推理速度与延迟方面均表现出色，同时保持了与当前最优高效骨干网相当或更好的准确性。

    Sep, 2024