CVPRJul, 2023

MobileViG：用于移动端视觉应用的基于图的稀疏注意力机制

PDF
TL;DR本文提出了一种新颖的基于图的稀疏注意力机制 Sparse Vision Graph Attention（SVGA），并且设计了一种新的混合 CNN-GNN 体系结构 MobileViG，实验证明，MobileViG 在移动设备上进行图像分类、物体检测和实例分割任务上的精度和 / 或速度明显优于现有的 ViG 模型和现有移动 CNN 和 ViT 架构。
convolutional neural networksvision transformersvision graph neural networksmobilevigsparse vision graph attention
发现论文，激发创造
  • 为移动视觉扩展图卷积

    MobileViGv2 使用 Mobile Graph Convolution (MGC) 模块来解决模型尺寸扩展问题，通过增加图稀疏性和引入条件位置编码到图操作中，提高了在图像分类等任务中的准确性。

    Jun, 2024

  • MobileViT：轻量级、通用、面向移动的视觉 Transformer

    本文提出了一种 MobileViT 轻量级通用视觉变换器，将 transformers 视为卷积，可用于移动设备，取得了比 CNN 和 ViT 更好的性能，特别是在对象检测任务上。

    Oct, 2021

  • Vision GNN: 一张图值得千万个节点

    本文提出了将图像表示为图结构，并介绍了一种新的 Vision GNN（ViG）体系结构，用于提取视觉任务的图级特征。ViG 由 Grapher 模块和 FFN 模块组成，可用于图形聚合、更新图形信息以及节点特征变换。该体系结构在图像识别和目标检测任务方面表现出优异性能，并希望将来的研究能够从中获得启发。

    Jun, 2022

  • 基于 Vision Transformers 的轻量级 CNN 竞争移动设备

    通过引入高度成本效益的局部全局局部（LGL）信息交换瓶颈，结合最优的自注意力和卷积，我们引入了 EdgeViTs，这是一种新的轻便 ViTs 家族，它们能够在准确性和设备效率之间的权衡中与最佳轻量级 CNNs 竞争，并优于其他 ViTs 几乎在所有情况下，证实了模型是帕累托最优的。

    May, 2022

  • GreedyViG：用于高效视觉 GNN 的动态轴图构建

    利用动态轴图构建（DAGC）和 GreedyViG 的混合 CNN-GNN 架构，在图像分类等任务中实现了高精度，GMACs 减少，参数数量相似的效果，超过了现有的视觉图神经网络模型。

    May, 2024

  • 基于稀疏体素图注意力网络的点云三维物体检测 SVGA-Net

    本文提出了 Sparse Voxel-Graph Attention Network (SVGA-Net) 网络，采用体素图和稀疏回归模块等方法，可从原始 LIDAR 数据中实现 3D 对象检测任务，通过实验验证了 SVGA-Net 的高效性和检测准确率。

    Jun, 2020

  • PointViG: 一种用于高效点云分析的轻量级基于 GNN 的模型

    PointViG 是一种高效的点云分析框架，使用轻量级图卷积模块提高局部特征聚合效果并减轻过度平滑问题，在大规模点云场景中采用自适应扩张图卷积技术提高计算效率，并且在性能和复杂度方面达到与先进模型相当的表现。

    Jul, 2024

  • RepViT：从 ViT 的视角重新审视移动 CNN

    轻量级视觉变换器（ViTs）相较于资源受限的移动设备上的轻量级卷积神经网络（CNNs），通过多头自注意模块获得更高的性能和更低的延迟。本研究回顾了轻量级 CNNs 的高效设计，强调其在移动设备上的潜力，并通过整合轻量级 ViTs 的高效架构选择增强了一种新的纯轻量级 CNNs 家族，即 RepViT。大量实验证明，RepViT 优于现有的轻量级 ViTs，并在各种视觉任务中具有有利的延迟。在 ImageNet 上，RepViT 在 iPhone 12 上实现了超过 80％的 top-1 准确性，延迟接近 1 毫秒，这在我们的知识范围内是轻量级模型的首次。我们最大的模型 RepViT-M3 在仅 1.3 毫秒延迟下获得了 81.4％的准确性。代码和训练模型可在 https://github.com/jameslahm/RepViT 找到。

    Jul, 2023

  • PVG：渐进视觉图用于视觉识别

    通过逐渐增加全局图分支的通道并减少局部分支的通道，逐渐分离图构建（PSGC）引入二阶相似性，使用最大池化和数学期望（MaxE）进行富信息邻居节点信息聚合和更新，以减轻过度平滑的图错误线性单元（GraphLU）增强松弛形式的低值信息，实验证明 PVG 在图像识别任务中优于现有方法。

    Aug, 2023

  • ViG: 使用门控线性注意力进行线性复杂度的视觉序列学习

    在计算机视觉任务中，线性复杂度序列建模网络达到了与 Vision Transformers 相似的建模能力，同时使用更少的 FLOPs 和内存。然而，它们在实际运行时速度方面的优势并不显著。为了解决这个问题，我们引入了适用于视觉的门控线性注意力（GLA），利用它的硬件感知和高效性。我们提出了方向性门控，通过双向建模来捕捉一维全局上下文，并通过二维门控局部注入来自适应地将二维局部细节注入一维全局上下文。我们的硬件感知实现将正向扫描和反向扫描合并为单个核心，增强了并行性，减少了内存成本和延迟。所提出的模型 ViG 在 ImageNet 和下游任务中在准确性、参数和 FLOPs 上取得了有利的权衡，优于流行的 Transformer 和基于 CNN 的模型。值得注意的是，ViG-S 仅使用参数的 27% 和 FLOPs 的 20%，在 224x224 大小的图像上运行速度比 DeiT-B 快 2 倍。在 1024x1024 分辨率下，ViG-T 使用的 FLOPs 比 DeiT-T 少了 5.2 倍，节省了 90% 的 GPU 内存，运行速度快了 4.8 倍，并且相比 DeiT-T 的 top-1 准确率高出 20.7%。这些结果使 ViG 成为一种高效且可扩展的视觉表示学习解决方案。代码可在 https://github.com/hustvl/ViG 找到。

    May, 2024