ECCVMar, 2022

InvPT: 倒金字塔多任务 Transformer 用于密集场景理解

PDF
TL;DR本文提出了一种新型的端到端的倒金字塔多任务变形器（InvPT），用于在统一框架中同时建模空间位置和多个任务，以进行密集预测，该方法可显著提高 NYUD-v2 和 PASCAL-Context 数据集上的多任务表现，并显著优于以前的最新技术。
multi-task dense scene understandinginverted pyramid multi-task transformerpixel-wise predictionspatial-positionself-attention message passing
发现论文，激发创造
  • InvPT++：倒立金字塔多任务变压器用于视觉场景理解

    提出了一个可以在全局情境下建立不同任务的空间特征之间交互的倒金字塔多任务转换器，以及两种跨尺度自注意模块，以有效地促进跨任务交互。

    Jun, 2023

  • 基于金字塔结构的高效统一 Transformer 语义分割模型

    本文提出了一种统一的框架（UN-EPT）来解决复杂场景中的语义分割问题，该框架综合考虑了上下文信息和边界伪影。该模型采用了稀疏采样策略来提高上下文建模的效率，并引入了单独的空间分支来捕捉图像细节，整个模型可以端到端地训练。该方法在三个常用的语义分割数据集上表现出优秀的性能，并具有较低的内存占用。

    Jul, 2021

  • 金字塔视觉变换器：一种适用于无卷积的密集预测的通用主干网络

    本文研究了另一种适用于许多密集预测任务的简单骨架网络，即金字塔视觉 Transformer（PVT），它比 Transformer 具有更高的输出分辨率和更少的计算和内存成本，并且在许多下游任务中提高了性能，例如对象检测，语义和实例分割。

    Feb, 2021

  • IRISformer：用于室内场景单张图像反渲染的紧密视觉变换器

    本研究的重点是通过使用变换器结构来解决单张图像反渲染领域的挑战，进而从单张室内场景图像中同时估计深度、法线、强度和光照，以及对比其他方法在实际应用中的优势。

    Jun, 2022

  • 预训练的 Transformer 金字塔网络

    本研究提出了一种基于屏蔽图像建模的完整预训练框架，统一复现与识别阶段，并通过深入的技术贡献，在图片分类、物体检测和语义分割方面实现了新的最佳结果。

    Nov, 2022

  • 多任务学习与多查询变换器用于密集预测

    本文提出了一种名为 “Multi-Query Transformer” 的多任务模型，利用多个任务相关的查询来进行跨任务推理，通过查询在多个任务之间建立联系，使得跨任务交互变得简单高效，并在两个密集预测数据集（NYUD-v2 和 PASCAL-Context）上取得了最优效果。

    May, 2022

  • 特征金字塔变换器

    提出了一种名为 Feature Pyramid Transformer（FPT）的全新特征交互方法，能够将任何特征金字塔转换为具有更多上下文信息的相同大小的特征金字塔，从而有效捕捉不同尺度中物体的非局部上下文特征。在实例级和像素级分割任务中，使用不同的骨干网络和头部网络进行了广泛实验，并观察到相对于所有基线和现有最先进方法均有持续的提高。

    Jul, 2020

  • Instruct-IPT：基于权重调控的一体化图像处理变换器

    提出了 Instruct-IPT - 一种多合一图像处理 Transformer，可以有效地处理具有大的任务间隔的多种图像修复任务，通过权重调节来自适应特定任务的权重，通过同步训练更新通用骨干模型和特定任务的偏差，以便指导模型学习通用和特定任务知识，并通过文本指令来提高用户界面的操控。

    Jun, 2024

  • 稠密预测的视觉 Transformer

    本文提出了稠密视觉 Transformer（dense vision transformers）作为密集预测任务的主干网络，相对于全卷积网络，该结构以恒定和较高的分辨率处理表示，并在每个阶段具有全局感受野。在单眼深度估计和语义分割任务上，我们的实验表明，该结构在有大量训练数据的情况下能够显着提高性能，是一种大有前途的新型神经网络结构。

    Mar, 2021

  • 预训练图像处理 Transformer

    本论文主要研究了低层级计算机视觉任务（如去噪、超分辨率和去雨等），并开发了一种新的预训练模型 —— 图像处理变压器（IPT），通过 ImageNet 基准测试产生大量的损坏图像对，训练 IPT 模型并成功地在不同的图像处理任务上产生了良好的结果。

    Dec, 2020