Sep, 2023

针对目标的双变压器用于少样本分割

PDF
TL;DR使用少量有标签的支持图像来识别新类别对象的分割，本文提出了 Target-aware Bi-Transformer Network（TBTNet）以等效处理支持图像和查询图像，并设计了强大的 Target-aware Transformer Layer（TTL）以提取相关性并强制模型关注前景信息，该方法在 PASCAL-5i 和 COCO-20i 标准 FSS 基准测试上表现出色。
few-shot semantic segmentationtarget-aware bi-transformer networksupport imagesquery imagecorrelations
发现论文，激发创造
  • 利用 Transformer 提升 Few-shot 语义分割

    本文提出了一种基于 TRansformer 网络的 Few-shot 语义分割方法（TRFS），它采用全局增强模块（GEM）和局部增强模块（LEM）相结合的方法，可以在 PASCAL-5i 和 COCO 数据集上取得新的最优表现。

    Aug, 2021

  • 循环一致变换器的小样本分割

    该研究提出了一种新的循环一致 Transformer（CyCTR）模块，通过交叉注意支持和查询图像的特征，聚合像素级支持特征到查询特征中，并使用循环一致的注意机制过滤可能有害的支持特征，最终在所有 few-shot 分割基准测试中实现了显着的改进。

    Jun, 2021

  • 跨域少样本语义分割基于双重匹配变换

    跨领域少样本语义分割（CD-FSS）旨在训练能够用少量标记图像从不同领域分割类别的通用模型。本文提出了基于双重匹配变换网络（DMTNet）的算法来解决特征转换中的问题。通过使用自匹配变换（SMT）构造基于查询图像自身的查询特定变换矩阵，而不是完全依赖支持图像，可以防止过拟合。此外，还提出了测试时间自校准（TSF）策略来更准确地在未知领域中自动调整查询预测。在四个流行数据集上进行的广泛实验表明，DMTNet 相比最先进的方法获得了卓越的性能。

    May, 2024

  • CATrans: Few-Shot 分割的上下文和亲和力变换器

    本文提出了一种名为 CATrans 的新型分层结构，通过 Relation-guided Context Transformer 和 Relation-guided Affinity Transformer，将支持和查询二者之间的上下文信息和相似度信息有效结合，用于 Few-shot segmentation 任务，实验表明该方法优于现有的基于 Transformer 的方法。

    Apr, 2022

  • 聚焦查询：用于少样本分割的对抗性挖掘 Transformer

    支持信息和查询中心 FSS 模型的对抗挖掘变压器 (AMFormer) 提供了准确的查询图像分割，即使只有粗略的支持指导或弱支持标签，通过优化产生更接近于地面真实的精确掩码来愚弄详细挖掘变压器

    Nov, 2023

  • 基于区域增强的原型转换器的小样本医学影像分割

    通过区域原型和抑制干扰的转换器可以提高少样本医学图像分割的准确性和性能。

    Sep, 2023

  • 跨参考转换器用于少样本医学图像分割

    本文提出了基于交叉引用变压器的医学图像分割方法，能够在高维通道中更好地挖掘和增强支持特征和查询特征的相似部分，实验结果表明该模型在 CT 数据集和 MRI 数据集上均取得了良好的结果。

    Apr, 2023

  • 层次化稠密相关蒸馏用于少样本分割 - 报告摘要

    本文提出了基于 Hierarchically Decoupled Matching Network (HDMNet) 的 Few-shot 语义分割方法，使用 transformer 架构、自注意力模块和匹配模块来实现级联匹配和关键像素级别的支持关联，且通过语义对应度实现了从粗糙分辨率到细粒度分割的相关性蒸馏，实验结果表明在 COCO 数据集中的 few-shot 语义分割任务上取得了较好的性能。

    Jun, 2023

  • 相关嵌入式 Transformer 跟踪：单分支框架

    开发强大和区分性外观模型一直是视觉目标跟踪领域中的一个长期研究挑战。我们提出了一个受 Transformer 启发的新颖单分支跟踪框架 ——SuperSBT，通过在特征网络的多个层次深度嵌入跨图像特征相关性，从而压制非目标特征，实现目标感知特征提取。与传统的双分支 Siamese 跟踪法不同，SuperSBT 能直接用于预测目标位置，提高了跟踪速度，并在多个基准测试上展现了优异的结果。

    Jan, 2024

  • 分层密集相关蒸馏用于小样本分割

    本文提出了一种基于 transformer 架构的 Hierarchically Decoupled Matching Network（HDMNet）用于 few-shot 语义分割任务。该网络利用自注意力机制来建立层次化的密集特征并使用匹配模块降低过拟合，引入来自粗分辨率的语义对应的相关性传递，以提高细粒度的分割。在实验中该方法表现良好，在 COCO 数据集上的 1-shot 和 5-shot 分割分别达到了 50.0% 和 56.0% 的 mIoU。

    Mar, 2023