提出了第一个开放式视频实例分割 (Open-World Video Instance Segmentation, OW-VIS) 方法 ——OW-VISFormer，它引入了一个新的特征增强机制和一个时空客体性 (Spatio-Temporal Objectness, STO) 模块，并评估了其在开放式实验室下的特性。

Apr, 2023

本研究提出和研究了一项新的计算机视觉任务，名为 OpenVIS，该任务旨在根据对应的文本描述同时分割，检测和跟踪视频中的任意对象。通过开放词汇的设计，OpenVIS 可以识别所需类别的对象，而不管这些类别是否包括在训练数据集中。为了实现这一目标，本文提出了一个由两个阶段组成的流程，首先利用基于查询的蒙版提议网络生成所有潜在对象的蒙版，并通过预先训练的 VLM 预测其对应的类别，其次通过提议后处理方法更好地适应预训练的 VLMs，以避免扭曲和不自然的提议输入。

May, 2023

本文提出了开放词汇视频实例分割这一新颖任务，在收集的大词汇量视频实例分割数据集上基于集成的 MindVLT 实现了该任务。实验结果表明，该方法能够有效地处理实际中从未见过的新类别，并且提供了数据集和代码以促进未来的研究。

Apr, 2023

本文提出了一种基于图像文本交互的语义分割模型 ViL-Seg，通过无需密集标注的方式，利用网络上自然存在的图像和文本数据，学习到能够直接分割任意开放世界类别对象的能力，实验结果在三个基准数据集上优于需要数据标注的零样本分割方法。

Jul, 2022

我们收集了一个大规模的被遮挡的视频实例分割数据集，即检测，在遮挡场景中同时分割和跟踪实例，实验表明，现有的视频理解系统无法理解这些被遮挡的实例，我们还提出了一个简单的插件模块，用于补充遮挡引起的缺失对象线索，建立在 MaskTrack R-CNN 和 SipMask 上，在 OVIS 数据集上取得了显着的 AP 提升。

Feb, 2021

该论文提出了一种新颖的方法，能够在没有额外训练数据的情况下，同时完成准确的封闭世界语义分割和识别新类别，还提供了每个新发现类别与已知类别的相似度度量，可在规划或映射等下游任务中提供有用信息。通过广泛的实验，我们展示了我们的模型在训练数据中已知类别以及异常分割方面取得了最先进的结果，并且能够区分不同的未知类别。

Mar, 2024

本文提出了 UVO（未识别视频对象），这是一个用于视频中开放世界类无关对象分割的新基准，由于其更大，更具挑战性且可以用于目标跟踪和超像素分割等其他应用，因此可用于研究人员开发新的方法。

Apr, 2021

通过使用视觉 - 语言（VL）基础模型，将图像 - 文本对中的广义知识应用于 3D 场景的多视图图像以生成图像描述，在对象级别进行细粒度的视觉 - 语义表示学习，并通过使用无标签数据上的伪监督训练对象分组模块以解决开放世界环境中的类别定位问题，从而在 3D 语义、实例和全景分割任务中获得显著的改进。

Aug, 2023

基于 OWL-ViT 模型，我们通过添加一个 Transformer 解码器来成功将开放世界模型应用于视频以实现开放世界定位，从而实现了更好的时间一致性和更强的开放世界能力。

Aug, 2023

本文提出了一种基于 Caption Grounding and Generation 框架的简单而有效的方法，借助图像标题中的目标名词发现新类别的实例，通过与 Mask Transformer 基线的结合和 caption generation head 的生成来提高实例级别开放词汇分割的性能，并在 COCO 数据集的两个设置下进行了广泛实验，取得了显著的效果。

Jan, 2023