Aug, 2023

基于语义图像分割实现的无需训练的目标实例分割

PDF
TL;DR提出了一种名为训练免费实例分割（TFISeg）的新范式，通过使用现成的语义分割模型预测的图像遮罩实现实例分割结果，避免了训练语义或 / 和实例分割模型以及实例级图像注释的需求，达到高效的目的。与最先进的全监督实例分割方法相比，TFISeg 无需额外的人力资源或增加的计算成本，并能获得具有竞争力的结果。
instance segmentationweakly-supervisedtraining-freesemantic segmentationobject boundary branch
发现论文，激发创造
  • FreeSeg：基于可解释对比语言 - 图像预训练的自由语义分割掩码

    本文提出了一种基于自然语言监督和预训练模型的 FreeSeg 框架，用于开放世界分割任务。它通过 Image-Text Similarity Map（ITSM）获得自由掩码以进行语义分割，而不需要像传统方式一样像素级别的标注。该方法采用了平滑最小池化，局部标签和像素策略等关键技术，使性能超越当前先进水平。

    Sep, 2022

  • IFSeg：基于视觉语言模型的无图像语义分割

    本文提出了一种新的无图像分割任务，旨在通过视觉语言预训练模型，生成基于语义类别的人工图像分割对，并通过对这些人工对的学习，让预训练模型适应于分割任务，该方法在实验中表现良好。

    Mar, 2023

  • BAISeg：边界辅助的弱监督实例分割

    我们提出了一种新的弱监督实例分割方法，通过预测类不可知的实例边界而不是实例中心点来识别实例，进一步增强了实例边界的连续性和闭合性，并且在只使用像素级注释的情况下取得了可观的性能。

    May, 2024

  • 基于图像级监督学习的实例分割：口罩在哪里？

    本文提出了一种使用图像级别标签进行实例分割的新框架，其中分为两个阶段，分别是训练分类器生成伪掩模并在这些伪掩模上训练完全监督的 Mask R-CNN。在 PASCAL VOC 2012 数据集上进行实验，相对于现有方法说明主要性能提高。

    Jul, 2019

  • 无遮挡视频实例分割

    本文提出了一种采用类似 KNN 特征匹配的方式，而无需耗时昂贵的视频掩模注释即可实现视 / 视频实例分割的新方法 ——MaskFreeVIS，并通过在 YouTube-VIS 2019/2021、OVIS 和 BDD100K MOTS 基准测试中的表现验证了该方法的有效性。

    Mar, 2023

  • 基于网络图像共分割的弱监督语义分割

    该研究提出了一种使用网络图像和图像级标签进行弱监督下的全卷积网络语义分割的方法，其利用大规模的共同分割框架从网络图像中生成标签，获得了 56.9 的交并比，在语义分割方案中取得了最新的性能。

    May, 2017

  • 简单有效：弱监督实例和语义分割

    本文提出了一种无需修改分割训练过程的弱监督训练方法，通过精心设计给定边界框的输入标签，经过单一训练循环即可达到先前算法的弱监督结果并能够抵达完全监督模型的约 95% 的语义标注和实例分割质量。

    Mar, 2016

  • 基于自由对象分割的长尾实例分割学习

    本研究提出一个简单和可扩展的 FreeSeg 框架，可以利用物体中心的图像提取和利用物体前景中的 “免费” 多样性来促进复杂场景中类别繁多的实例分割模型的培训，通过对同一类别的物体中心形象的相似性进行调查，提出前景实例的候选片段，然后通过对片段质量的新排序获得高质量的物体片段，从而改善了弱数据问题并取得了最佳效果。

    Feb, 2022

  • 从语义到实例分割：通过语义知识转移和自我优化进行弱监督实例分割

    本文提出一种创新的方法来解决弱监督实例分割任务中的实例定位难题，并使用自我训练方案来改进伪标注，消除语义漂移问题。通过在 PASCAL VOC 2012 和 MS COCO 上广泛实验，证明了该方法的有效性，无需使用与实例或对象有关的预先训练技术。

    Sep, 2021

  • 少即是多：朝着高效的零样本 3D 语义分割网络

    为了减少对大规模数据集的依赖，最近在 3D 分割方面的研究转向了少样本学习。本文提出了一种高效的无训练的 3D 少样本分割网络 TFS3D 和基于训练的变种 TFS3D-T，通过三角函数位置编码提取密集表示，取得了可与以往基于训练方法相媲美的性能。与预训练方法相比，TFS3D 能够缓解领域差异问题并节省大量时间。基于 TFS3D，TFS3D-T 只需训练一个轻量级的查询 - 支持转移注意力，增强了少样本查询和支持数据之间的交互。实验结果表明，在 S3DIS 和 ScanNet 上，TFS3D-T 分别将最先进方法的 mIoU 提高了 6.93% 和 17.96%，同时训练时间减少了 90%，显示出卓越的有效性和高效性。

    Aug, 2023