动态原型卷积网络用于小样本语义分割
基于适配器机制提出了一种新的 Few-Shot Segmentation (FSS) 框架,设计了 Prototype Adaptive Module (PAM) 来提高 FSS 模型的性能和实现新的最先进结果。
Dec, 2023
近年来,基于卷积神经网络的深度学习在许多应用中取得了显著的成功。然而,它们对大量标注数据的依赖以及对未知类别的有限泛化能力对于医学图像处理任务来说是一个挑战。少样本学习利用少量标注数据进行泛化到未知类别的能力已经成为一个关键性的研究领域,吸引了大量关注。目前,大多数研究采用基于原型的方法,即利用原型网络从支持集构建原型,引导查询集的处理以获得最终结果。虽然这种方法是有效的,但它过于依赖支持集,忽视了查询集,导致模型类别内部存在明显的差异。为了缓解这个缺点,我们提出了一种新的支持 - 查询原型融合网络(SQPFNet)。SQPFNet 首先为支持图像的前景区域生成多个支持原型,从而产生一个粗糙的分割掩模。随后,基于粗糙分割掩模构建查询原型,额外利用查询集中的模式信息。因此,SQPFNet 构建了高质量的支持 - 查询融合原型,通过它对查询图像进行分割以获得最终的细化查询掩模。对两个公共数据集 SABS 和 CMR 的评估结果显示,SQPFNet 实现了最先进的性能。
May, 2024
提出了一种新颖的 Detail Self-refined Prototype Network(DSPNet)用于构建全面表示目标前景和背景的高保真原型,以解决医学图像中具有复杂背景且对象不明显的情况下,已有模型在 few-shot 语义分割方面的不足。在三个具有挑战性的医学图像基准上的广泛实验证实了 DSPNet 相对于先前的最先进方法的优越性。
Jun, 2024
本文提出了一种密集亲和匹配(DAM)框架, 通过双向 3D 卷积密集捕捉每个支持 - 查询对中的像素对像素和像素对补丁关系来利用支持查询交互, 用于分割使用少量注释样本的新颖类别图像。
Jul, 2023
通过将查询特征整合到前景和背景原型的生成过程中,Query-guided Prototype Evolution Network (QPENet) 提供了与特定查询相适应的定制原型,通过一系列的模块和过程实现了 Few-Shot Segmentation 的显著性能增强。
Mar, 2024
使用卷积神经网络(CNN)对支持图像进行特征提取,生成类别特征向量,然后通过余弦相似度将目标物体在查询图像中分割出来,在 PASCAL-$5^i$ and COCO-$20^i$ 数据集上验证了其优越性。
Sep, 2019
利用自支持匹配策略提高 few-shot 语义分割精度,通过适应性自支持背景原型生成模块和自支持损失进一步促进自支持匹配过程,该策略有效地捕获查询对象的一致潜在特征,从而更适当地匹配查询特征,其实现了多个数据集上的 SOTA,源码可在 https://github.com/fanq15/SSP 找到。
Jul, 2022
本文提出了基于 Hierarchically Decoupled Matching Network (HDMNet) 的 Few-shot 语义分割方法,使用 transformer 架构、自注意力模块和匹配模块来实现级联匹配和关键像素级别的支持关联,且通过语义对应度实现了从粗糙分辨率到细粒度分割的相关性蒸馏,实验结果表明在 COCO 数据集中的 few-shot 语义分割任务上取得了较好的性能。
Jun, 2023
本文提出了基于 DCAMA 和 Transformer 架构的多级像素关联的稠密像素交叉查询和支持关注权重掩模聚合方法,通过完全利用支持图像中的前景和背景信息,显着提高了标准 FSS 基准测试的性能,特别是 1-shot mIoU 方面有了 3.1%,9.7%和 3.6%的绝对改善。
Jul, 2022