Mar, 2023

开放世界实例分割：自上而下的学习与自下而上的监督

PDF
TL;DR本研究提出了一种新的开放世界实例分割方法，称为自下而上和自上而下的开放世界分割（UDOS），它将经典的自下而上分割算法与自上而下的学习框架相结合。UDOS 通过从自下而上的分割中获得的弱监督训练自上而下的网络来预测目标的部分遮罩，并使用亲和力组合和细化模块预测稳健的实例级分割，实验表明，UDOS 在多个跨类别和跨数据集的转移任务上的性能显着优于现有技术。
instance segmentationopen-worldbottom-uptop-downaffinity-based grouping
发现论文，激发创造
  • 开放世界中的三维室内实例分割

    已有的 3D 实例分割方法通常假设在训练过程中可获取所有待分割的语义类别，并在推理时仅分割已见类别。我们认为这种封闭世界的假设过于限制，首次探索了在开放世界环境中进行 3D 室内实例分割，使模型能够区分已知类别，并将未知对象标注为未知，并在相应的类别标签可用时逐步学习未知对象的语义类别。为此，我们引入了一种开放世界的 3D 室内实例分割方法，其中采用自动标注方案在训练过程中生成伪标签，并引入分离机制来区分已知和未知类别标签。我们还通过基于目标性得分分布调整未知类别概率的方法，在推理过程中改进了伪标签的质量。我们还引入了基于真实场景的谨慎策划的开放世界数据集，根据物体分布、基于区域的室内场景探索和开放世界类别的随机性方面。广泛的实验表明了所提出的方法有效性，为开放世界 3D 实例分割性能带来了希望。

    Sep, 2023

  • 无监督伪装目标分割作为领域适应

    本研究探讨了深度学习在无监督图像分割中的应用，特别关注了自适应伪标签生成和无监督领域自适应任务，并提出了用于无监督伪标签自适应的前景 - 背景对比自对抗域自适应流程，能够更好地实现伪标签生成和图像分割。

    Aug, 2023

  • 探索 Transformer 在开放世界实例分割中的应用

    本论文提出了一种基于 Transformer 的开放世界实例分割模型 SWORD，利用停止梯度操作和 IoU 头进行对象分割，通过对比学习扩大对象和背景之间的表示，并在各种开放世界场景中实现了最先进的性能。

    Aug, 2023

  • OW-VISCap：开放世界视频实例分割与字幕

    开放世界视频实例分割和字幕生成 (OW-VISCap) 是一种联合分割、跟踪和描述以前见过或未见过的视频中的物体的方法。

    Apr, 2024

  • 开放世界中的视频实例分割

    提出了第一个开放式视频实例分割 (Open-World Video Instance Segmentation, OW-VIS) 方法 ——OW-VISFormer，它引入了一个新的特征增强机制和一个时空客体性 (Spatio-Temporal Objectness, STO) 模块，并评估了其在开放式实验室下的特性。

    Apr, 2023

  • 开放世界中的半监督目标检测

    在这篇论文中，我们提出了一个名为 Open World Semi-supervised Detection（OWSSD）的框架，该框架通过一种轻量级的自编码器网络对进行过 ID 数据训练从而有效地检测 OOD 数据，并从中学习，我们通过大量评估表明我们的方法在与最先进的 OOD 检测算法的竞争中表现出色，并显著改善了开放世界场景下的半监督学习性能。

    Jul, 2023

  • 基于贝叶斯的开放世界语义实例分割

    本文提出了一种基于贝叶斯框架和模拟退火优化的图像划分采样算法，基于已知物体类别的目标检测器输出，实现了在开放集条件下分割所有已知和未知目标类别的实例分割方法，该方法在已知类别和未知类别上均有较好表现并且与监督式方法相比具有竞争性。

    Jun, 2018

  • 走向自主监督的全流程无监督显著性检测

    自我监督的端到端显著目标检测框架基于对比学习构建了最具教导性分割引导的位置映射，并通过细节增强模块丰富了位置标签的详细信息；此外，通过设计一种新的无监督非显著对象抑制（UNSS）方法，该方法能够忽略非显著对象。在基准数据集上的大量实验证明我们的方法在近期的端到端方法和大多数多阶段解决方案中取得了领先的性能。

    Oct, 2023

  • 机器人环境下看不见物体实例分割

    为了使机器人能够在非结构化环境中起作用，该研究提出了一种名为 UOIS-Net 的新颖方法，该方法利用合成 RGB 和深度数据分别用于识别表面上未见过的物体，并且可以训练机器人对它们进行抓取。通过提供大量的实验结果，本研究证明了该方法优于同类方法。

    Jul, 2020

  • 迈向基于开放世界的零件分割

    本文提出了一种利用无类别部件分割来减少标注难度并能适用于未知目标的部件分割方法，并通过对象感知性和自监督学习的方式对此进行了改进。

    May, 2023