ECCVJul, 2022

基于密集交叉查询支持的注意力加权掩码聚合，用于少样本分割

PDF
TL;DR本文提出了基于 DCAMA 和 Transformer 架构的多级像素关联的稠密像素交叉查询和支持关注权重掩模聚合方法，通过完全利用支持图像中的前景和背景信息，显着提高了标准 FSS 基准测试的性能，特别是 1-shot mIoU 方面有了 3.1％，9.7％和 3.6％的绝对改善。
few-shot semantic segmentationdcamatransformer architecturemulti-level pixel-wise correlationsn-shot segmentation
发现论文，激发创造
  • 稠密亲和匹配用于少样本分割

    本文提出了一种密集亲和匹配（DAM）框架， 通过双向 3D 卷积密集捕捉每个支持 - 查询对中的像素对像素和像素对补丁关系来利用支持查询交互， 用于分割使用少量注释样本的新颖类别图像。

    Jul, 2023

  • 自校准交叉注意力网络用于少样本分割

    通用关键词：少样本分割、支持样本、交叉注意、自校准交叉注意、mIoU 分数。摘要：本文提出了一种自校准交叉注意模块来解决几个问题，包括在少样本分割中如何有效利用支持样本、如何融合查询背景特征、以及如何计算相似度。实验证明，该模型在 COCO-20i 上的 5-shot 设置下的 mIoU 分数比之前的最新技术提升了 5.6%+

    Aug, 2023

  • 层次化稠密相关蒸馏用于少样本分割 - 报告摘要

    本文提出了基于 Hierarchically Decoupled Matching Network (HDMNet) 的 Few-shot 语义分割方法，使用 transformer 架构、自注意力模块和匹配模块来实现级联匹配和关键像素级别的支持关联，且通过语义对应度实现了从粗糙分辨率到细粒度分割的相关性蒸馏，实验结果表明在 COCO 数据集中的 few-shot 语义分割任务上取得了较好的性能。

    Jun, 2023

  • 分层密集相关蒸馏用于小样本分割

    本文提出了一种基于 transformer 架构的 Hierarchically Decoupled Matching Network（HDMNet）用于 few-shot 语义分割任务。该网络利用自注意力机制来建立层次化的密集特征并使用匹配模块降低过拟合，引入来自粗分辨率的语义对应的相关性传递，以提高细粒度的分割。在实验中该方法表现良好，在 COCO 数据集上的 1-shot 和 5-shot 分割分别达到了 50.0% 和 56.0% 的 mIoU。

    Mar, 2023

  • 跨域少样本语义分割基于双重匹配变换

    跨领域少样本语义分割（CD-FSS）旨在训练能够用少量标记图像从不同领域分割类别的通用模型。本文提出了基于双重匹配变换网络（DMTNet）的算法来解决特征转换中的问题。通过使用自匹配变换（SMT）构造基于查询图像自身的查询特定变换矩阵，而不是完全依赖支持图像，可以防止过拟合。此外，还提出了测试时间自校准（TSF）策略来更准确地在未知领域中自动调整查询预测。在四个流行数据集上进行的广泛实验表明，DMTNet 相比最先进的方法获得了卓越的性能。

    May, 2024

  • 动态原型卷积网络用于小样本语义分割

    针对 few-shot 语义分割的挑战，该论文提出了一种基于动态原型卷积网络 (DPCN) 的解决方案，其中动态卷积模块 (DCM) 从支持前景生成动态内核，而支持激活模块 (SAM) 和特征过滤模块 (FFM) 则一起为查询图像提供丰富的背景信息，实现了更准确的 few-shot 语义分割。DPCN 在 1-shot 和 5-shot 设置下均表现出优越性能。

    Apr, 2022

  • 双意识注意力在少样本目标检测中的应用

    利用 Dual-Awareness Attention (DAnA) 机制提出一种能够适应非常规图像输入的 Few-shot object detection 网络，并在不同评估设置下比之前方法显着增加性能。

    Feb, 2021

  • 聚焦查询：用于少样本分割的对抗性挖掘 Transformer

    支持信息和查询中心 FSS 模型的对抗挖掘变压器 (AMFormer) 提供了准确的查询图像分割，即使只有粗略的支持指导或弱支持标签，通过优化产生更接近于地面真实的精确掩码来愚弄详细挖掘变压器

    Nov, 2023

  • 少样本语义分割通过蒙版聚合

    本文提出了一种基于遮罩的分类方法 MASK Aggregation Network (MANet)，可以更好的解决 few-shot semantic segmentation 中像素关系和对象关系的问题，并在 PASCAL-5^i 和 COCO-20^i 数据集上展现出可与最新像素方法相媲美的表现，证明了基于遮罩的分类方法作为 few-shot semantic segmentation 的一个替代基线方法的潜力。

    Feb, 2022

  • 跨领域少样本分割通过迭代支持查询对应挖掘

    跨领域少样本分割 (CD-FSS) 需要仅使用有限样本从不同领域中对新颖类别进行分割，论文发现通过 fine-tuning 阶段有效地在领域之间转移学习得到的元知识的必要性以及由于新颖类别样本稀缺导致朴素的 fine-tuning 存在过拟合风险，并提出了一种解决这一挑战的新型跨领域 fine-tuning 策略，通过设计双向少样本预测 (BFP) 和迭代少样本适配器 (IFA) 来降低过拟合风险并最大化利用稀疏的新颖类别样本的监督信号，实验证明该方法显著优于当前技术水平 (+7.8%)，验证了 IFA 能同时应对跨领域挑战和减轻过拟合问题。代码将提供。

    Jan, 2024