CVPRMar, 2022

ReSTR: 使用 Transformers 实现无卷积参考图像分割

PDF
TL;DR本文介绍 ReSTR，一种卷积神经网络瓶颈可用的 Transformer，它可以用自注意力机制来融合图像和语言信息。该模型在公共基准测试中表现出色。
referring image segmentationconvolution-free modeltransformersself-attention encodersegmentation module
发现论文，激发创造
  • LAVT：用于参照图像分割的语言感知视觉 Transformer

    本研究提出一种新的方法，在视觉 Transformer 编码器网络的中间层通过对语言和视觉特征进行交叉融合，实现更好的交叉模态对齐，进而通过轻量级的掩模预测器得到准确的分割结果，该方法在 RefCOCO、RefCOCO + 和 G-Ref 数据集上均超越了以往的最优方法。

    Dec, 2021

  • 从序列到序列的角度重新思考使用 Transformers 进行语义分割

    本文提出了一种新的语义分割方法，使用纯 Transformer 编码图像为序列的方式，通过全局上下文模型和一个简单的解码器生成强大的分割模型，称为 SETR，取得多项最新的测试结果。

    Dec, 2020

  • 使用 Transformer 进行端到端实例分割

    本文提出了一种名为 ISTR 的实例分割变压器，利用低维掩模嵌入进行实例分割，采用递归细化策略实现检测和分割并行，实现了端到端框架。在 MS COCO 数据集上，基于 ResNet50-FPN 和 ResNet101-FPN 的 ISTR 分别获得了 46.8 / 38.6 和 48.1 / 39.9 的盒子 / 掩码 AP，并取得了最先进的性能。

    May, 2021

  • ResT: 用于视觉识别的高效 Transformer

    本文提出了一种高效的多尺度视觉 Transformer 模型，名为 ResT，可作为图像识别的通用骨干。它通过一些优势来应对传统 Transformer 模型在应对分辨率固定的原始图像中存在的缺陷， 特别是建立了一种内存高效的多头自注意力机制、一种空间关注的位置编码方法，并将贴片嵌入设计为一系列重叠卷积运算，最终提高了大量原始图像识别和下游任务的性能。

    May, 2021

  • 标定与重建：用于指代图像分割的深度集成语言

    利用 CRFormer 模型，通过连续校准多模态特征，引入语言重建模块和重建损失，解决自然语言表达的图像分割问题，并在多个数据集上表现优于现有方法。

    Apr, 2024

  • 使用 Transformer 进行对比分组的指向图像分割

    在本文中，我们提出了一种使用对比式分组和 Transformer 网络 (CGFormer) 的掩模分类框架，通过基于令牌的查询和分组策略来明确捕捉对象级信息。CGFormer 通过交替查询语言特征并将视觉特征分组到查询令牌中进行对象感知的跨模态推理，最终通过对比学习来确定与参考对象对应的令牌及其掩模，实验结果显示 CGFormer 在分割和泛化设置中始终明显优于最先进的方法。

    Sep, 2023

  • Restormer: 高分辨率图像修复的高效 Transformer 模型

    本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型，通过几个关键设计，使其能够捕捉长距离像素交互，同时仍适用于大图像，在图像去噪、去模糊和降雨方面达到了最先进的效果。

    Nov, 2021

  • SafaRi: 自适应序列变换器用于弱监督指称表达式分割

    我们提出了一种弱监督引导架构用于指代表达分割，并引入了交叉模态融合、掩码有效性过滤等算法创新，通过只使用少量标注数据，在图像中实现目标物体的空间定位，实验结果表明我们的模型 SafaRi 在少量标注数据下表现优秀，具有强大的泛化能力。

    Jul, 2024

  • 引用变压器：一种多任务视觉基础的一步方法

    本次研究提出了一个基于 transformer 架构的单阶段多任务模型，通过融合视觉和语言输入，实现了高度语义转换的视觉语言解析，通过上下文信息和多任务学习，该模型在包括命名实体识别等任务上，取得了比现有方法更加突出的性能优势。

    Jun, 2021

  • 针对引用分割的视觉语言变换器和查询生成模型

    本文针对有挑战性的指称分割任务，利用注意力机制、多头注意力、查询生成模块和查询平衡模块等技术，构建了一种轻量级的网络架构来解决任务，并在 RefCOCO、RefCOCO + 和 G-Ref 三个数据集上实现了新的最高性能。

    Aug, 2021