Nov, 2021

视觉 Transformer 综述

PDF
TL;DR本文综述了超过一百种不同的视觉 Transformer 根据三个基本的计算机视觉任务和不同的数据流类型，提出了一个分类法来组织代表性的方法，评估和比较所有这些现有的视觉 Transformers 在不同的配置下，并揭示一系列的重要但未开发的方面，最后指出了三个有前途的研究方向。
transformercomputer visionattention-based encoder-decoder modelcv tasksvisual transformers
发现论文，激发创造
  • 视觉中的 Transformer：一项综述

    本次研究对变压器模型在计算机视觉方面的应用进行了全面的回顾，包括自我关注、大规模预训练和双向编码等基础概念及其在图像分类、视频处理等多个领域的广泛应用。研究比较了不同技术在架构设计及实验价值方面的优缺点，并提出了未来的研究方向。

    Jan, 2021

  • 图像分类任务中视觉 Transformer 的全面研究

    综述了关于视觉变换器用于图像分类的现有研究，包括图像分类数据集，视觉变换器模型的发展历程和未来研究机会。

    Dec, 2023

  • 关于视觉 Transformer 的调查

    本文回顾了将 Transformer 应用于计算机视觉任务中的视觉 Transformer 模型，并分为不同任务类别，分析它们的优点和缺点，同时也介绍了将 Transformer 应用到实际设备应用的有效方法。最后，本文还探讨了计算机视觉中的自注意机制以及视觉 Transformer 面临的挑战及进一步研究方向。

    Dec, 2020

  • ViTs 随处可见：综合研究展示不同领域中的视觉 Transformer

    Transformer 设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于 Transformer 的 Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

    Oct, 2023

  • 医学图像中的视觉变压器：综述

    本文综述 Transformer 模型在医学图像处理中的应用，包括使用注意力机制编码 - 解码结构的 Transformer 模型与卷积神经网络的比较，基于 Transformer 模型的医学图像分类、分割、配准和重建方法，以及与 CNNs 模型在标准医学数据集上的性能比较。

    Nov, 2022

  • 自动驾驶中视觉变形器研究综述：现状和未来发展方向

    该论文综述探讨了视觉 Transformer 模型在自动驾驶中的应用，重点研究了自我注意力、多头注意力和编码器 - 解码器架构等基本概念，并比较了它们在目标检测、分割、行人检测、车道检测等应用中的架构优点和局限性，最后展望了视觉 Transformer 在自动驾驶中的未来研究方向。

    Mar, 2024

  • 基于 Transformer 的视觉分割：一份综述

    本文综述了基于 transformer 的视觉分割技术，总结了近期的进展，详细介绍了各种方法设计和应用，并对该领域的未来研究方向进行了探讨。

    Apr, 2023

  • 视觉语言变换器：一项调研

    视觉语言任务中，基于预训练的变压器架构在视觉语言建模方面表现出色，为视觉和语言结合的任务带来了类似的进展。

    Jul, 2023

  • Vision Transformers 及其基于 CNN-Transformer 的变体调查

    本文对达到卓越视觉任务表现的一类混合视觉转换器体系结构进行了分类和阐述，其中融合了卷积和自注意力机制，重点讨论了注意力机制、位置嵌入、多尺度处理和卷积等关键特征。

    May, 2023

  • Transformer 深度学习任务的应用综述

    本文通过详细调查从 2017 至 2022 年间提出的 Transformer 模型，分析了其在自然语言处理、计算机视觉、多模态、音频和语音处理以及信号处理等领域中的应用及其对应的任务，并提供了一种分类法，以期为进一步研究及其未来的应用提供参考。

    Jun, 2023