May, 2024

基于基础模型学习强大的相关性用于弱监督少样本分割

PDF
TL;DR这篇论文介绍了一种针对弱监督少样本分割任务的方法，通过设计一种名为 CORENet 的相关增强网络，使用多信息引导来学习强大的相关性，提供了比现有方法更优秀的性能。
发现论文，激发创造
  • 基于四元数相关性学习的小样本语义分割

    本文提出了一种基于四元数代数的相关学习网络（QCLNet），该网络以四元数域表示相关张量，利用四元数值卷积探索查询子空间的外部关系，并考虑支持子维度的隐藏关系，其在 PASCAL-5i 和 COCO-20i 数据集上的实验结果表明，该方法有效地优于现有的最先进方法。

    May, 2023

  • 层次化稠密相关蒸馏用于少样本分割 - 报告摘要

    本文提出了基于 Hierarchically Decoupled Matching Network (HDMNet) 的 Few-shot 语义分割方法，使用 transformer 架构、自注意力模块和匹配模块来实现级联匹配和关键像素级别的支持关联，且通过语义对应度实现了从粗糙分辨率到细粒度分割的相关性蒸馏，实验结果表明在 COCO 数据集中的 few-shot 语义分割任务上取得了较好的性能。

    Jun, 2023

  • 分层密集相关蒸馏用于小样本分割

    本文提出了一种基于 transformer 架构的 Hierarchically Decoupled Matching Network（HDMNet）用于 few-shot 语义分割任务。该网络利用自注意力机制来建立层次化的密集特征并使用匹配模块降低过拟合，引入来自粗分辨率的语义对应的相关性传递，以提高细粒度的分割。在实验中该方法表现良好，在 COCO 数据集上的 1-shot 和 5-shot 分割分别达到了 50.0% 和 56.0% 的 mIoU。

    Mar, 2023

  • 少样本遥感图像语义分割中的自相关和互相关学习

    远程感知图像的语义分割是远程感知图像解释中的重要问题。目前已经取得了显著的进展，虽然现有的深度神经网络方法在依赖大量训练数据方面存在问题。少样本远程感知语义分割旨在仅使用少量标注的目标类别支持图像从查询图像中学习分割目标对象。然而，现有的少样本学习方法主要集中在从支持图像中提取信息，未能有效解决地理对象外观和尺度的大差异。为了解决这些挑战，我们提出了一种自相关和交叉相关学习网络，用于少样本远程感知图像语义分割。我们的模型通过考虑支持图像和查询图像之间的自相关和交叉相关来增强泛化性能。为了进一步探索与查询图像的自相关性，我们提出采用经典的频谱方法，基于图像的基本视觉信息生成一个类别无关的分割掩模。在两个远程感知图像数据集上进行了大量实验，证明了我们的模型在少样本远程感知图像语义分割中的有效性和优越性。代码和模型可以在此 URL 中访问。

    Sep, 2023

  • 使用具有判别嵌入的全局相关网络进行小样本医学图像分割

    本文提出了一种基于全局相关模块和判别性嵌入损失的少样本医学图像分割方法，利用深度卷积神经网络高效准确地进行分割，取得了最新的实验成果。

    Dec, 2020

  • 多模式基础模型增强弱监督语义分割：一种端到端方法

    使用弱监督语义分割方法解决数据标注成本高的问题，通过借鉴视觉基础模型来学习对象边界从而提高分割结果的质量。

    May, 2024

  • Few-Shot 分割的超相关压缩

    本文提出了利用多层特征相关性和高效 4D 卷积的 HSNet 来解决少样本语义分割问题，通过 coarse-to-fine 方式逐渐将高层次和低层次的几何和语义信息聚合到精确的分割掩模中，并在 PASCAL-5i、COCO-20i 和 FSS-1000 标准基准上验证了该方法的有效性。

    Apr, 2021

  • 基于基础模型辅助的弱监督语义分割

    这项研究旨在利用预训练的基础模型，如对比语言图像预训练（CLIP）和分段任意模型（SAM），利用图像级别标签解决弱监督语义分割（WSSS）。为此，我们提出了基于 CLIP 和 SAM 的粗到精细的框架，用于生成高质量的分割种子。我们通过冻结权重的 CLIP 和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于 SAM 的分区（SAMS）模块，并将其应用于每个任务以生成粗糙或精细的种子图。此外，我们设计了一个多标签对比损失，由图像级别标签监督，和一个由生成的粗糙种子图监督的 CAM 激活损失。这些损失用于学习提示，在我们的框架中，提示是唯一需要学习的部分。一旦学习了提示，我们将每个图像以及学习的分割特定提示输入到 CLIP 和 SAMS 模块中，以生成高质量的分割种子。这些种子用作伪标签，用于训练一种现成的分割网络，就像其他两阶段的 WSSS 方法一样。实验证明，我们的方法在 PASCAL VOC 2012 上取得了最先进的性能，并在 MS COCO 2014 上获得了有竞争力的结果。

    Dec, 2023

  • 基于记忆引导网络的不确定性特征增强方法在少样本语义分割中的应用

    我们提出了一种基于少样本语义分割的方法，利用具有充足数据的基础类别训练的模型进行对只有少量数据的新类别的分割，并引入了类别共享记忆模块和基于不确定性的特征增强模块来提高模型的泛化性能。实验结果表明，我们的方法在广泛使用的 PASCAL-5i 和 COCO-20i 数据集上相比最先进的方法具有卓越的性能。

    Jun, 2024

  • 半监督自修正语义图像分割网络

    本研究介绍了一种半监督框架，通过一个辅助模型和一个自我纠正模块，在只有一小部分完全有监督图像的基础上，使用具有目标边界框标签的图像和只有目标边界框标签的图像集（称为弱集），训练出高质量的语义分割模型，这种方法比传统大量完全有监督数据模型要求的标注工作量减少～7 倍。

    Nov, 2018