Aug, 2021

利用 Transformer 提升 Few-shot 语义分割

PDF
TL;DR本文提出了一种基于 TRansformer 网络的 Few-shot 语义分割方法（TRFS），它采用全局增强模块（GEM）和局部增强模块（LEM）相结合的方法，可以在 PASCAL-5i 和 COCO 数据集上取得新的最优表现。
few-shot segmentationtransformer-based methodconvolutional neural networksglobal informationstate-of-the-art performance
发现论文，激发创造
  • 循环一致变换器的小样本分割

    该研究提出了一种新的循环一致 Transformer（CyCTR）模块，通过交叉注意支持和查询图像的特征，聚合像素级支持特征到查询特征中，并使用循环一致的注意机制过滤可能有害的支持特征，最终在所有 few-shot 分割基准测试中实现了显着的改进。

    Jun, 2021

  • 针对目标的双变压器用于少样本分割

    使用少量有标签的支持图像来识别新类别对象的分割，本文提出了 Target-aware Bi-Transformer Network（TBTNet）以等效处理支持图像和查询图像，并设计了强大的 Target-aware Transformer Layer（TTL）以提取相关性并强制模型关注前景信息，该方法在 PASCAL-5i 和 COCO-20i 标准 FSS 基准测试上表现出色。

    Sep, 2023

  • 通用少样本语义分割

    本文中，我们介绍了一个名为 “广义 Few-Shot 语义分割（GFS-Seg）” 的新基准数据集，用于分析在同时分割具有非常少的示例的新类别和具有足够示例的基础类别的情况下的内在泛化能力。我们提出了一种名为 “上下文感知原型学习（CAPL）” 的方法来提高模型的性能，该方法通过从支持样本中利用共现先验知识并动态丰富上下文信息到分类器，条件是基于每个查询图像的内容。在 Pascal-VOC 和 COCO 上的实验表明了 CAPL 的有效性，CAPL 在 Few-Shot Segmentation 上具有很好的泛化性能，且性能与现有状态 - of-the-art 方法相比有竞争力。

    Oct, 2020

  • 从序列到序列的角度重新思考使用 Transformers 进行语义分割

    本文提出了一种新的语义分割方法，使用纯 Transformer 编码图像为序列的方式，通过全局上下文模型和一个简单的解码器生成强大的分割模型，称为 SETR，取得多项最新的测试结果。

    Dec, 2020

  • 基于区域增强的原型转换器的小样本医学影像分割

    通过区域原型和抑制干扰的转换器可以提高少样本医学图像分割的准确性和性能。

    Sep, 2023

  • 少即是多：朝着高效的零样本 3D 语义分割网络

    为了减少对大规模数据集的依赖，最近在 3D 分割方面的研究转向了少样本学习。本文提出了一种高效的无训练的 3D 少样本分割网络 TFS3D 和基于训练的变种 TFS3D-T，通过三角函数位置编码提取密集表示，取得了可与以往基于训练方法相媲美的性能。与预训练方法相比，TFS3D 能够缓解领域差异问题并节省大量时间。基于 TFS3D，TFS3D-T 只需训练一个轻量级的查询 - 支持转移注意力，增强了少样本查询和支持数据之间的交互。实验结果表明，在 S3DIS 和 ScanNet 上，TFS3D-T 分别将最先进方法的 mIoU 提高了 6.93% 和 17.96%，同时训练时间减少了 90%，显示出卓越的有效性和高效性。

    Aug, 2023

  • 高效遥感分割的生成对抗变换器

    通过一个高效的 Generative Adversarial Transfomer (GATrans)，采用深度学习方法和全局变换网络（GTNet）来实现高精度语义分割，在保持极高效率的同时，通过多层特征提取和结构相似性损失函数优化，获得了 90.17% 的平均 F1 得分和 91.92% 的总体准确率。

    Oct, 2023

  • 聚焦查询：用于少样本分割的对抗性挖掘 Transformer

    支持信息和查询中心 FSS 模型的对抗挖掘变压器 (AMFormer) 提供了准确的查询图像分割，即使只有粗略的支持指导或弱支持标签，通过优化产生更接近于地面真实的精确掩码来愚弄详细挖掘变压器

    Nov, 2023

  • 一种新的本地转换模块 用于小样本分割

    本文提出了一种基于局部特征关系的转换模块，通过广义逆矩阵将关系矩阵线性转换，可以用于替代现有的 Few-shot 分割框架中的转换模块，并在 Pascal VOC 2012 数据集上进行了验证。

    Oct, 2019

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024