Mar, 2021

将卷积结构融入视觉Transformer

HTML
PDF
TL;DR本论文提出了一种结合卷积神经网络和Transformer的新型算法Convolution-enhanced image Transformer (CeiT)，在ImageNet和七个下游任务中实现了与先前Transformer和目前最先进的卷积神经网络相当的效果，而无需大量训练数据和额外的卷积神经网络教师，同时具有更好的收敛性和更低的训练成本。
发现论文，激发创造
  • 视觉Transformer：面向计算机视觉的基于令牌的图像表示和处理

    本文通过使用视觉Transformer在语义标记空间中密集地建模标记关系并减少卷积计算量，从而在ImageNet top-1和LIP，COCO-stuff图像分割测试上表现出了显着的优势。

    Jun, 2020

  • 一张图像胜过16*16个单词：规模下的图像识别变形金刚

    本文研究使用Transformer代替CNN进行图像分类，实现在计算资源少的情况下，取得比目前卷积网络更好的识别结果，从而在计算机视觉上取得突破。

    Oct, 2020

  • 基于Transformer的目标检测

    本文研究使用纯Transformer模型实现复杂视觉任务中的目标检测，发现Vision Transformer作为骨干网在检测任务上可以产生与传统卷积网络相媲美的结果，而且能够保持更高的图像分辨率。

    Dec, 2020

  • CvT：将卷积引入视觉Transformer

    本文提出了名为CvT的新型架构，它通过将卷积引入ViT中实现了性能和效率的提升，并在ImageNet-1K上表现出优异的性能，验证了此方法的先进性和有效性。

    Mar, 2021

  • Vision Transformer和卷积神经网络的视觉感知相似吗？

    研究比较了卷积神经网络和Vision Transformer模型在图像分类任务中的内部表示结构，发现两种架构存在显著差异，其中self-attention在加快全局信息聚合方面发挥着关键作用。此外，预训练数据集规模会对中间特征和迁移学习产生影响。

    Aug, 2021

  • 视觉Transformer综述

    本文综述了超过一百种不同的视觉Transformer根据三个基本的计算机视觉任务和不同的数据流类型，提出了一个分类法来组织代表性的方法，评估和比较所有这些现有的视觉Transformers在不同的配置下，并揭示一系列的重要但未开发的方面，最后指出了三个有前途的研究方向。

    Nov, 2021

  • 卷积嵌入使分层视觉Transformer更强大

    本文研究了如何使用混合CNN / ViTs的宏观架构来增强分层ViTs的性能，特别地，我们研究了令牌嵌入层的作用，引入了卷积嵌入（CE），并系统地揭示了CE如何在ViTs中注入理想的归纳偏差。 我们将最佳CE配置应用于4个最近发布的最先进的ViT中，有效地提高了相应的性能，并释放了一组高效的混合CNN / ViT，名为CETNets，可作为通用视觉骨干。

    Jul, 2022

  • Vision Conformer：将卷积融入 Vision Transformer 层中

    本研究通过将卷积神经网络与神经网络模型Transformer相结合，提出了一种名为“Vision Conformer”的模型，并通过实验证明了此模型对ViT图像识别能力的提升。

    Apr, 2023

  • ViTs随处可见：综合研究展示不同领域中的视觉Transformer

    Transformer设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于Transformer的Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

    Oct, 2023

  • 自然语言语义下的视觉Transformer

    通过引入基于分割模型的新型分词器策略，语义视觉转换器（sViT）在捕获显著特征和全局依赖关系的同时，提高了解释性和鲁棒性，相较于传统视觉转换器模型（ViT）在训练数据需求、分布泛化和解释性方面表现得更优。

    Feb, 2024