CVPRMar, 2023

分层密集相关蒸馏用于小样本分割

PDF
TL;DR本文提出了一种基于 transformer 架构的 Hierarchically Decoupled Matching Network（HDMNet）用于 few-shot 语义分割任务。该网络利用自注意力机制来建立层次化的密集特征并使用匹配模块降低过拟合，引入来自粗分辨率的语义对应的相关性传递，以提高细粒度的分割。在实验中该方法表现良好，在 COCO 数据集上的 1-shot 和 5-shot 分割分别达到了 50.0% 和 56.0% 的 mIoU。
few-shot semantic segmentationhierarchically decoupled matching networkpixel-level support correlationself-attention modulescorrelation distillation
发现论文，激发创造
  • 层次化稠密相关蒸馏用于少样本分割 - 报告摘要

    本文提出了基于 Hierarchically Decoupled Matching Network (HDMNet) 的 Few-shot 语义分割方法，使用 transformer 架构、自注意力模块和匹配模块来实现级联匹配和关键像素级别的支持关联，且通过语义对应度实现了从粗糙分辨率到细粒度分割的相关性蒸馏，实验结果表明在 COCO 数据集中的 few-shot 语义分割任务上取得了较好的性能。

    Jun, 2023

  • 稠密亲和匹配用于少样本分割

    本文提出了一种密集亲和匹配（DAM）框架， 通过双向 3D 卷积密集捕捉每个支持 - 查询对中的像素对像素和像素对补丁关系来利用支持查询交互， 用于分割使用少量注释样本的新颖类别图像。

    Jul, 2023

  • Few-Shot 分割的超相关压缩

    本文提出了利用多层特征相关性和高效 4D 卷积的 HSNet 来解决少样本语义分割问题，通过 coarse-to-fine 方式逐渐将高层次和低层次的几何和语义信息聚合到精确的分割掩模中，并在 PASCAL-5i、COCO-20i 和 FSS-1000 标准基准上验证了该方法的有效性。

    Apr, 2021

  • 挖掘潜在类别用于少样本分割

    本研究提出一种新的联合训练框架来缓解现有方法在处理潜在新类别时出现的特征削弱问题，并使用可转移子簇来增强特征嵌入，实验结果表明，该方法在 PASCAL-5i 和 COCO-20i 数据集上超过之前的最先进方法，并具有更少的参数和更快的推理速度。

    Mar, 2021

  • 跨域少样本语义分割基于双重匹配变换

    跨领域少样本语义分割（CD-FSS）旨在训练能够用少量标记图像从不同领域分割类别的通用模型。本文提出了基于双重匹配变换网络（DMTNet）的算法来解决特征转换中的问题。通过使用自匹配变换（SMT）构造基于查询图像自身的查询特定变换矩阵，而不是完全依赖支持图像，可以防止过拟合。此外，还提出了测试时间自校准（TSF）策略来更准确地在未知领域中自动调整查询预测。在四个流行数据集上进行的广泛实验表明，DMTNet 相比最先进的方法获得了卓越的性能。

    May, 2024

  • 面向轻量级半监督语义分割的多粒度蒸馏方案

    提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

    Aug, 2022

  • 不仅仅是从他人学习，而是依靠自己：对遥感中少样本分割的新视角

    提出了一种名为 DMNet 的双挖掘网络来解决卫星遥感场景中极端类内变化的问题，并通过 Class-public Region Mining 和 Class-specific Region Mining 模块有效地实现语义的挖掘和提取，同时引入 Known-class Meta Suppressor 模块来抑制已知类中的对象激活，实现了在少量样本下对未知类目标的差异化分割。

    Oct, 2023

  • 少样本高保真原型的医学图像分割

    提出了一种新颖的 Detail Self-refined Prototype Network（DSPNet）用于构建全面表示目标前景和背景的高保真原型，以解决医学图像中具有复杂背景且对象不明显的情况下，已有模型在 few-shot 语义分割方面的不足。在三个具有挑战性的医学图像基准上的广泛实验证实了 DSPNet 相对于先前的最先进方法的优越性。

    Jun, 2024

  • 基于密集交叉查询支持的注意力加权掩码聚合，用于少样本分割

    本文提出了基于 DCAMA 和 Transformer 架构的多级像素关联的稠密像素交叉查询和支持关注权重掩模聚合方法，通过完全利用支持图像中的前景和背景信息，显着提高了标准 FSS 基准测试的性能，特别是 1-shot mIoU 方面有了 3.1％，9.7％和 3.6％的绝对改善。

    Jul, 2022

  • 自监督少样本语义分割：一种无需标注的方法

    借鉴谱分解方法，将图像分解问题视为图划分任务，并通过特征亲和力矩阵的拉普拉斯矩阵的特征向量分析来估计感兴趣对象的分布；提出一种新颖的自监督式 FSS 框架，不依赖于任何标注，并通过利用从支持图像获得的特征向量自适应地估计查询掩码，从而消除了手动注释的需求，特别适用于具有有限标注数据的医学图像；引入了多尺度大卷积核注意力模块，进一步提高了对支持图像提供的信息进行查询图像解码的能力，通过选择性地强调相关特征和细节，改善了分割过程并有助于更好的物体勾边；在自然和医学图像数据集上的评估结果展示了我们方法的高效性和有效性。

    Jul, 2023