ECCVOct, 2022

Fast-ParC：面向卷积神经网络和 ViTs 的位置感知全局核

PDF
TL;DR本研究在计算机视觉领域中，提出了一种新的神经网络算子，名为 “位置感知循环卷积（ParC）”，通过使用全局内核和循环卷积捕捉全局特征，同时采用位置嵌入来保持位置敏感性，进一步提出了其加速版本 Fast-ParC，通过 FFT 算法将复杂度 O (n2) 的 ParC 算子的时间复杂度降至 O (nlogn)，这对于生成大尺度特征映射的模型在前期阶段使用全局卷积非常有用，但是仍然保持与使用 3x3 或 7x7 卷积核的总体计算成本相当。该算子可在 ViTs 和 ConvNet 模型中使用，并在各种视觉任务中取得了有效结果，同时扩大了传统 ConvNets 的有效感受野，提高了精度。
发现论文，激发创造
  • ParC-Net: 基于位置感知的循环卷积结合 ConvNets 和 Transformer

    本文提出了一个基于轻量级 ConvNet 模型的元模型模块，结合视觉转换器（Vision Transformers）的优点，使用位置感知循环卷积（ParC）和压缩激活操作（squeeze-exictation ops）来加强 ConvNet 的性能，实现了比流行的轻量级 ConvNet 和基于视觉变换器的模型在常见视觉任务和数据集上更好的性能，而且具有更少的参数和更快的推理速度。

    Mar, 2022

  • 卷积嵌入使分层视觉 Transformer 更强大

    本文研究了如何使用混合 CNN / ViTs 的宏观架构来增强分层 ViTs 的性能，特别地，我们研究了令牌嵌入层的作用，引入了卷积嵌入（CE），并系统地揭示了 CE 如何在 ViTs 中注入理想的归纳偏差。 我们将最佳 CE 配置应用于 4 个最近发布的最先进的 ViT 中，有效地提高了相应的性能，并释放了一组高效的混合 CNN / ViT，名为 CETNets，可作为通用视觉骨干。

    Jul, 2022

  • 快速视觉 Transformer 模型：具有分层注意力机制

    本文介绍了一种新的卷积神经网络和可见 - 感知变换神经网络的混合模型 ——FasterViT，利用 HAT 方法分层降低全局自注意力的计算复杂度，提高图像处理的吞吐量和效率。FasterViT 在各种计算机视觉任务中得到了广泛的验证，并表现出比竞争对手更快，更准确的性能。

    Jun, 2023

  • ConViT：利用软卷积归纳偏置提升视觉 Transformer 性能

    本文提出了一种形式的位置自注意力机制：门控位置自注意力，该机制能够同时具备卷积神经网络的空域学习和自注意力层的位置不变性。作者使用这种机制构建了名为 ConViT 的混合卷积 - 自注意力神经网络，通过在 ImageNet 数据集上的实验表明，该网络在图像分类任务上拥有优异的性能和更高的样本效率，并提高了对定位特征的注意力。

    Mar, 2021

  • CvT：将卷积引入视觉 Transformer

    本文提出了名为 CvT 的新型架构，它通过将卷积引入 ViT 中实现了性能和效率的提升，并在 ImageNet-1K 上表现出优异的性能，验证了此方法的先进性和有效性。

    Mar, 2021

  • LightViT: 轻量化无卷积视觉 Transformer

    本研究提出了一种名为 LightViT 的轻量化 transformer 网络，通过全局有效聚合策略结合注意力机制和多维度的通道 / 空间注意力机制来捕捉全局依赖信息，从而实现更好的准确性和效率平衡。实验证明，该模型在图像分类、目标检测和语义分割任务中均取得了显著的提升。

    Jul, 2022

  • 卷积变形器用于视觉

    提出了一种基于线性注意力机制的混合体系结构 ——Convolutional X-formers for Vision（CXV）。通过将 Quintic Transformer，Nyströmformer 和 Linear Transformer 等线性注意力机制代替二次注意力机制，来减少 GPU 使用。CXV 在有限的数据和 GPU 资源（核心，内存，功率）场景下，比其他的架构如 Token mixers（例如 ConvMixer，Fnet 和 MLP Mixer），变换模型（如 ViT，CCT，CvT 和混合 Xformers）以及 ResNets 等，更适用于图像分类任务。

    Jan, 2022

  • 全局上下文视觉 Transformer

    本文介绍了一种新的计算机视觉模型 GC ViT，核心是全局上下文自注意力模块，结合标准本地自注意力来有效地建模长程和短程空间交互关系，解决了 ViTs 的归纳偏差问题，在图像分类、对象检测和语义分割等任务中实现了新的最高性能表现。

    Jun, 2022

  • 通过全局架构因素上的高斯过程优化在 MobileViT 中的导航效率

    通过使用高斯过程，我们系统地探索了 MobileViT 的全局架构因子（如分辨率、宽度和深度）与性能之间的非线性和不确定关系，并提出了扭转全局架构因子的设计原则，从而实现在较小的模型尺寸和计算成本下提高模型精度。

    Jun, 2024

  • ViR: 视觉记忆网络

    基于自注意力机制的视觉转换器（ViTs）因其对长距离空间依赖关系和大规模训练的出色能力而受到了广泛的关注，然而，其二次复杂度限制了其在许多需要快速推理的场景中的应用。受到自然语言处理中并行化模型的启发，我们提出了一种新的计算机视觉模型，命名为视觉保留网络（ViR），具有双并行和循环结构，以在快速推理和并行训练之间达到最佳平衡，并在需要更高分辨率图像的任务中具有可扩展性。ViR 是第一个尝试在通用视觉骨干网络中实现双并行和循环等效性的方法，我们通过大量实验证实了 ViR 的有效性，并提供了代码和预训练模型的公开获取。

    Oct, 2023