稠密预测的视觉 Transformer

Mar, 2021

Vision Transformers for Dense Prediction

René Ranftl, Alexey Bochkovskiy, Vladlen Koltun

TL;DR本文提出了稠密视觉 Transformer（dense vision transformers）作为密集预测任务的主干网络，相对于全卷积网络，该结构以恒定和较高的分辨率处理表示，并在每个阶段具有全局感受野。在单眼深度估计和语义分割任务上，我们的实验表明，该结构在有大量训练数据的情况下能够显着提高性能，是一种大有前途的新型神经网络结构。

Abstract

We introduce dense vision transformers, an architecture that leverages vision transformers in place of convolutional networks as a backbone for dense prediction tasks. We assemble tokens from various stages of the vision transformer into image-like representations at various resolution

dense vision transformers dense prediction tasks convolutional decoder monocular depth estimation semantic segmentation

发现论文，激发创造

金字塔视觉变换器：一种适用于无卷积的密集预测的通用主干网络

本文研究了另一种适用于许多密集预测任务的简单骨架网络，即金字塔视觉 Transformer（PVT），它比 Transformer 具有更高的输出分辨率和更少的计算和内存成本，并且在许多下游任务中提高了性能，例如对象检测，语义和实例分割。

Feb, 2021

视觉 Transformer: 从语义分割到密集预测

本研究首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，编码图像作为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，提出的分割转换器（SETR）在 ADE20K 和 Pascal Context 数据集上取得了出色表现，同时提出了一系列分层本地 - 全局转换器，架构由局部关注（在窗口内）和全局关注（跨窗口）构成，对于各种密集预测任务具有吸引人的性能

Jul, 2022

用于密集预测的视觉 Transformer 适配器

本文提出一种基于适配器的简单而强大的密集预测任务适配器，用于解决 Vision Transformer (ViT) 在密集预测中的性能较差问题，并成功应用于目标检测、实例分割和语义分割等多种密集预测任务中，其中 ViT-Adapter-L 模型在不使用额外数据的情况下，在 COCO test-dev 数据集上实现了 state-of-the-art 的性能。

May, 2022

基于 Transformer 的目标检测

本文研究使用纯 Transformer 模型实现复杂视觉任务中的目标检测，发现 Vision Transformer 作为骨干网在检测任务上可以产生与传统卷积网络相媲美的结果，而且能够保持更高的图像分辨率。

Dec, 2020

密集变换网络

本研究提出了密集变换网络的构建方法，设计了不同于之前需要输入图像分割大小的神经网络结构，通过对使用高分辨率像素预测的自适应分割进行了验证，证明该方法在图像分割任务中取得了更好的表现。

May, 2017

基于 Transformer 的注意力网络用于连续像素智能预测

本文提出的 TransDepth 是一种结合了卷积神经网络和 Transformers 的像素预测模型，使用基于门的注意力机制避免了网络对局部细节的损失，并在三个具有挑战性的数据集上取得了最先进的性能。

Mar, 2021

用于单目视觉里程计尺度估计的密集预测变换器

本文使用密集预测变换器模型进行尺度估计，解决单目视觉测距系统中尺度漂移问题，通过深度图的准确估计，取得竞争性的最新成果。

Oct, 2022

将视觉 Transformer 解析为具有动态卷积的卷积神经网络

我们将视觉 Transformer 解释为具有动态卷积的 ConvNets，并在统一框架中比较它们的设计选择，证明了视觉 Transformer 可以以 ConvNets 的设计空间为参考，从而指导网络设计，并展示了如何通过更换激活函数和创建效率更高的深度视觉 Transformer 来提高性能和收敛速度。该统一解释不仅仅适用于给定的示例，希望能够激发社区并产生更先进的网络架构。

Sep, 2023

全分辨率 MLP 加强医学密集预测

本研究针对医学图像恢复、配准和分割等医学视觉任务中的密集预测问题，提出了一种以多层感知器为基础的全分辨率分层框架，通过利用全图像分辨率下的组织级纹理信息，该框架可以在医学图像上实现长程依赖关系，并在多个公共数据集上的广泛实验中展示出超越卷积神经网络和 Transformer 的最先进性能。

Nov, 2023

Vision Transformers 三要素

本文提出了三种易于实现的视觉 Transformer 变体。第一，可以在不降低精度的情况下并行处理视觉 Transformer 的残差层。第二，对注意力层的权重进行微调就足以适应更高分辨率和其他分类任务，这节省了计算量，减少了微调时的峰值内存消耗，并允许跨任务共享大部分权重。第三，添加基于 MLP 的补丁预处理层，可提高基于补丁掩模的 Bert 式自监督训练效果。作者使用 ImageNet-1k 数据集评估了这些设计选择的影响，并在 ImageNet-v2 测试集上确认了研究发现。文章在六个较小的数据集上评估了转移性能。

Mar, 2022