基于 RGB 图像和深度图像的全景分割的新方法；通过使用所观察场景的 3D 几何信息，减少错误合并为一个事物实例的对象数量，提高全景质量。

Mar, 2024

该论文提出了一种新型的端对端网络，能够高效地预测实例和物体分割，并引入了一种新的空间排名模块以处理预测实例之间的遮挡问题。在 COCO Panoptic 基准测试上取得了可喜的成果。

Mar, 2019

这篇论文提出了一种弱监督的模型，能够同时执行语义分割和实例分割任务，并使用图像级别标签弱监督 “stuff” 类别的分割，以及使用边界框弱监督 “thing” 类别的分割。通过分析注释质量和预测性能之间的关系，可以对数据集的创建有所启示。

Aug, 2018

本文提出了一种全新的端到端单次方法，可以将可计数的物体实例 (事物) 以及背景区域 (物料) 分段成为一个几乎达到视频帧率的非重叠全景分割。

Nov, 2019

该论文提出了一种端到端的学习方法，用于解决统一实例分割和语义分割任务，所提出的 TASCNet 模型使用共享的骨干网络特征图，通过单次前向传递来预测实例和语义分割，并通过全局的实例和语义二进制掩码来明确约束这两个输出分布，以强制实现跨任务的一致性。实验证明，所提出的统一网络在几个基准测试中与最先进的方法相当，并且在单个语义和实例分割任务上也表现出色。

Dec, 2018

本文提出了一种基于双向学习流程和插拔式遮挡处理算法的深度全景分割方案，用于同时执行前景实例的实例分割和背景物品的语义分割，并能有效地处理不同物体实例之间的遮挡问题。在 COCO 全景基准测试中，实验结果验证了我们所提出的方法的有效性。

Mar, 2020

PanopticFusion 是一种新颖的在线立体语义映射系统，能够在 stuff 和 things 的级别上密集预测背景区域（stuff）的类标签和不同前景物体（things）的各自分割，利用其空间哈希体积图表示可以重构大规模场景并提取标记的网格，通过融合 2D 语义和实例分割输出对 RGB 框架的像素级 Panoptic 标签进行首次预测，并将这些标签与深度测量一起整合到体积地图中进行 CRF 模型的规范化，通过提出的一种新的一次势近似和地图分割策略实现在线 CRF 推理，我们在 ScanNet（v2）数据集上评估了系统性能，发现其在语义和实例分割基准测试中均优于或与最先进的脱机 3D DNN 方法相比，同时演示了利用该系统生成的 3D Panoptic 地图的有前途的增强现实应用。

Mar, 2019

我们提出了一种端到端的网络，用于连接全景分割的训练和推理管道，通过使用密集实例亲和力来捕获像素对属于相同实例的概率，并与 ResNet-50 骨干网络配合使用，实现了对 Cityscapes 和 COCO 数据集的新记录。

Jan, 2020

研究通过聚类策略和点嵌入来改进全景分割的实例分割步骤，以解决同一个语义类别附近实例分割的挑战，实验证明该策略的有效性和多样性。

Jul, 2023

本文介绍了一种名为 Panoptic FCN 的概念简单、强大、高效的全景分割框架，该方法旨在以统一的卷积管道中表示和预测前景物体和背景杂物。通过提出的内核生成器，Panoptic FCN 将每个对象实例或杂物类别编码为特定的内核权重，并通过将高分辨率特征直接卷积来生成预测。通过这种方法，实例感知和语义一致的特性可以分别在一个简单的生成内核，然后进行分割的工作流中得以满足。在 COCO、Cityscapes 和 Mapillary Vistas 数据集上，不需要额外的定位框或实例分离，所提议的方法在单尺度输入上具有比以前的基于框和无框模型更高的效率。

Dec, 2020