Oct, 2023

ViTs随处可见：综合研究展示不同领域中的视觉Transformer

HTML
PDF
TL;DRTransformer设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于Transformer的Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。
发现论文，激发创造
  • 一张图像胜过16*16个单词：规模下的图像识别变形金刚

    本文研究使用Transformer代替CNN进行图像分类，实现在计算资源少的情况下，取得比目前卷积网络更好的识别结果，从而在计算机视觉上取得突破。

    Oct, 2020

  • CvT：将卷积引入视觉Transformer

    本文提出了名为CvT的新型架构，它通过将卷积引入ViT中实现了性能和效率的提升，并在ImageNet-1K上表现出优异的性能，验证了此方法的先进性和有效性。

    Mar, 2021

  • ConvNets与Transformers：哪个视觉表示更易转移？

    通过15项单任务和多任务性能评估，系统地研究了ConvNets和vision transformers的迁移学习能力，发现vision transformers在13个下游任务中表现出一致优势，并且更适合于多任务学习。

    Aug, 2021

  • Vision Transformer和卷积神经网络的视觉感知相似吗？

    研究比较了卷积神经网络和Vision Transformer模型在图像分类任务中的内部表示结构，发现两种架构存在显著差异，其中self-attention在加快全局信息聚合方面发挥着关键作用。此外，预训练数据集规模会对中间特征和迁移学习产生影响。

    Aug, 2021

  • 视觉Transformer综述

    本文综述了超过一百种不同的视觉Transformer根据三个基本的计算机视觉任务和不同的数据流类型，提出了一个分类法来组织代表性的方法，评估和比较所有这些现有的视觉Transformers在不同的配置下，并揭示一系列的重要但未开发的方面，最后指出了三个有前途的研究方向。

    Nov, 2021

  • 2020年代用于ConvNet（卷积神经网络）的神经网络

    本研究重新审视设计空间，逐步将标准ResNet现代化为Vision Transformer的设计，发现了几个关键组件，并发现纯ConvetNets模型家族ConvNeXt可以在精度和可伸缩性方面与Transformer竞争，在ImageNet的top-1准确率方面达到了87.8％，并在COCO检测和ADE20K分割上优于Swin Transformer 。

    Jan, 2022

  • 视觉Transformer的最新进展：近期研究的综述和展望

    本文介绍了近期表现最佳的 Vision Transformers 方法，对其强弱项、计算成本、训练和测试数据集进行了全面综述，并在流行基准数据集上与各种 ViT 算法以及代表性 CNN 方法的性能进行了充分比较，最后讨论了一些局限性和提出了未来研究方向。

    Mar, 2022

  • 预训练的ViT模型在医疗图像中得到了多用途的表示

    本研究探讨了视觉 Transformer 在医学图像分类中的优劣，并发现使用预训练模型时，视觉 Transformer 可以与卷积神经网络媲美，成为 CNN 的一种可行替代方法。

    Mar, 2023

  • Vision Conformer：将卷积融入 Vision Transformer 层中

    本研究通过将卷积神经网络与神经网络模型Transformer相结合，提出了一种名为“Vision Conformer”的模型，并通过实验证明了此模型对ViT图像识别能力的提升。

    Apr, 2023

  • 探索混合CNN和视觉转换器的协同效应：计算机视觉的综述

    综述探讨了卷积神经网络（CNN）与视觉Transformer（ViT）架构的混合体，深入检查了最新的混合CNN-ViT架构文献，探索了这两种方法之间的协同作用。通过对混合CV架构的研究，旨在作为一个指导资源，促进对CNN和ViT之间错综复杂的动态关系及其对CV架构未来的共同影响的更深入的理解。

    Feb, 2024