Aug, 2023

TurboViT：通过生成式架构搜索生成快速视觉Transformer

HTML
PDF
TL;DR通过生成式架构搜索，通过掩蔽单元注意力和Q池设计模式创建高效分层视觉Transformer体系结构设计TurboViT，相较于其他10种同等准确度的最新高效视觉Transformer网络架构设计，在ImageNet-1K数据集上实现了显著较小的计算复杂性和更高的计算效率。同时在实时和批处理场景下表现出强大的推理延迟和吞吐量。
发现论文，激发创造
  • ViTAS: 视觉Transformer架构搜索

    本文提出了 ViTAS 方法，其中使用循环权重共享机制和身份移位来解决目标嵌入的失衡问题，并辅以弱数据增强和规范化技术，以获得稳定的训练结果。实验证明，与其他常用方法相比，ViTAS 取得了极高的性能提升。

    Jun, 2021

  • 寻找高效的多阶段视觉Transformer模型

    利用神经架构搜索（NAS）设计了一个有效的多阶段的 Vision Transformer 架构 ViT-ResNAS，其中融合了两个技术：残差空间缩减和权重共享 NAS，实验证明 ViT-ResNAS 在 ImageNet 数据集上能够取得比原始 DeiT 和其他强基线更好的精度-MAC 和精度-吞吐量权衡。

    Sep, 2021

  • 基于Hessian感知显著性的全局Vision Transformer压缩

    本研究提出了一种称为NViT的基于Hessian的全局结构裁剪方法，能够比以往更高效地利用ViT模型的参数，使得NViT-Base在ImageNet-1K数据集上具备了比DeiT-Base更高的准确率、更低的FLOPs和参数数量以及更快的运行速度。

    Oct, 2021

  • AdaViT: 自适应视觉Transformer用于高效图像识别

    本文提出了AdaViT，一个自适应的计算框架，旨在提高视觉变换器的推理效率，而只有0.8％的准确率下降，并在不同的计算预算条件下实现了良好的效率/准确性平衡。

    Nov, 2021

  • 无需训练的自适应视觉Transformer

    提出了一种名为As-ViT的自动缩放框架，用于设计和扩展Vision Transformers(ViT)，并在分类和检测任务上获得了强大的性能，其模型设计和缩放过程仅需12小时的训练。

    Feb, 2022

  • EfficientFormer：在 MobileNet 速度下的视觉 Transformer

    本文介绍了一种高效的纯Transformer设计方法EfficientFormer，用于实现与MobileNet相当的性能且具有极低的推理延迟，它通过解决ViT中的存储器冗余问题来达到这一目的。

    Jun, 2022

  • 高效ViT: 带级联分组注意力的内存高效视觉Transformer

    本研究提出一种高速的视觉Transformer模型EfficientViT，通过优化Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得良好的平衡。

    May, 2023

  • 选择哪种Transformer：视觉Transformer效率的比较分析

    对视觉Transformer及相关架构的效率进行了综合分析，揭示了一系列有趣的见解，例如发现ViT在多个效率度量标准上仍然是最佳选择，同时低推理内存和参数数量时，混合注意力-CNN模型表现良好，模型大小的缩放比图像大小更为重要，FLOPS与训练内存之间存在强正相关性。

    Aug, 2023

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使Vision Transformer高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • 通过全局架构因素上的高斯过程优化在MobileViT中的导航效率

    通过使用高斯过程，我们系统地探索了MobileViT的全局架构因子（如分辨率、宽度和深度）与性能之间的非线性和不确定关系，并提出了扭转全局架构因子的设计原则，从而实现在较小的模型尺寸和计算成本下提高模型精度。

    Jun, 2024