Jun, 2024

通过全局架构因素上的高斯过程优化在 MobileViT 中的导航效率

PDF
TL;DR通过使用高斯过程，我们系统地探索了 MobileViT 的全局架构因子（如分辨率、宽度和深度）与性能之间的非线性和不确定关系，并提出了扭转全局架构因子的设计原则，从而实现在较小的模型尺寸和计算成本下提高模型精度。
convolutional neural networksvision transformersgaussian processmobilevitmodel accuracy
发现论文，激发创造
  • MobileViT：轻量级、通用、面向移动的视觉 Transformer

    本文提出了一种 MobileViT 轻量级通用视觉变换器，将 transformers 视为卷积，可用于移动设备，取得了比 CNN 和 ViT 更好的性能，特别是在对象检测任务上。

    Oct, 2021

  • 全局上下文视觉 Transformer

    本文介绍了一种新的计算机视觉模型 GC ViT，核心是全局上下文自注意力模块，结合标准本地自注意力来有效地建模长程和短程空间交互关系，解决了 ViTs 的归纳偏差问题，在图像分类、对象检测和语义分割等任务中实现了新的最高性能表现。

    Jun, 2022

  • 基于 Vision Transformers 的轻量级 CNN 竞争移动设备

    通过引入高度成本效益的局部全局局部（LGL）信息交换瓶颈，结合最优的自注意力和卷积，我们引入了 EdgeViTs，这是一种新的轻便 ViTs 家族，它们能够在准确性和设备效率之间的权衡中与最佳轻量级 CNNs 竞争，并优于其他 ViTs 几乎在所有情况下，证实了模型是帕累托最优的。

    May, 2022

  • 移动应用的视觉 Transformer：简要概述

    本文研究提出了一些专门为移动设备设计的 ViT 架构，分析了移动应用场景下 ViT 网络所面临的挑战，旨在为未来的研究方向提供基础，并选择最佳的 ViT 视觉架构以适用于移动设备。

    May, 2023

  • 重新思考视觉 Transformer 的空间维度

    本研究通过探究卷积神经网络的空间维度转换的作用及其有效性，提出了一种基于降维思想的新型 Pooling-based Vision Transformer (PiT) 模型，实验表明 PiT 模型在图像分类、物体检测和模型鲁棒性等方面均优于原始的 Vision Transformer (ViT) 模型。

    Mar, 2021

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使 Vision Transformer 高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • 寻找高效的多阶段视觉 Transformer 模型

    利用神经架构搜索（NAS）设计了一个有效的多阶段的 Vision Transformer 架构 ViT-ResNAS，其中融合了两个技术：残差空间缩减和权重共享 NAS，实验证明 ViT-ResNAS 在 ImageNet 数据集上能够取得比原始 DeiT 和其他强基线更好的精度 - MAC 和精度 - 吞吐量权衡。

    Sep, 2021

  • TurboViT：通过生成式架构搜索生成快速视觉 Transformer

    通过生成式架构搜索，通过掩蔽单元注意力和 Q 池设计模式创建高效分层视觉 Transformer 体系结构设计 TurboViT，相较于其他 10 种同等准确度的最新高效视觉 Transformer 网络架构设计，在 ImageNet-1K 数据集上实现了显著较小的计算复杂性和更高的计算效率。同时在实时和批处理场景下表现出强大的推理延迟和吞吐量。

    Aug, 2023

  • 基于 Hessian 感知显著性的全局 Vision Transformer 压缩

    本研究提出了一种称为 NViT 的基于 Hessian 的全局结构裁剪方法，能够比以往更高效地利用 ViT 模型的参数，使得 NViT-Base 在 ImageNet-1K 数据集上具备了比 DeiT-Base 更高的准确率、更低的 FLOPs 和参数数量以及更快的运行速度。

    Oct, 2021

  • 选择哪种 Transformer：视觉 Transformer 效率的比较分析

    对视觉 Transformer 及相关架构的效率进行了综合分析，揭示了一系列有趣的见解，例如发现 ViT 在多个效率度量标准上仍然是最佳选择，同时低推理内存和参数数量时，混合注意力 - CNN 模型表现良好，模型大小的缩放比图像大小更为重要，FLOPS 与训练内存之间存在强正相关性。

    Aug, 2023