无缝场景分割

CVPRMay, 2019

Seamless Scene Segmentation

Lorenzo Porzi, Samuel Rota Bulò, Aleksander Colovic, Peter Kontschieder

TL;DR本研究提出了一种基于 CNN 的新型架构，可以进行端到端的训练，以提供无缝的场景分割结果。该网络结构采用了一种新颖的分割头，将由特征金字塔网络生成的多尺度特征与由轻量级 DeepLab 模块传递的上下文信息进行了无缝整合，从而预测一致的语义分割和检测结果。此外，研究人员还提出了一种替代 panoptic 度量的方法，克服了评估非实例类别时的局限性。通过在三个具有挑战性的街景数据集上测试，即 Cityscapes、Indian Driving Dataset 和 Mapillary Vistas，我们的网络架构取得了最先进的结果。

Abstract

In this work we introduce a novel, cnn-based architecture that can be trained end-to-end to deliver seamless scene segmentation results. Our goal is to predict consistent semantic segmentation and detection resul

cnn scene segmentation panoptic output format multi-scale features state-of-the-art results

发现论文，激发创造

街景理解的单网络全景分割

本文提出了一种用于全景分割的深度神经网络，将语义分割与实例分割任务联合起来，从而在单次计算中为输入图像的每个像素提供类标签和唯一对象标识符，并且通过增强信息共享和合并启发式方法，单个网络的性能提高，如在 Cityscapes 上可获得 45.9 的 PQ 分数。

Feb, 2019

基于密集检测的实时全景分割

本文提出了一种基于密集检测和全局自注意力机制的新型单次全景分割网络，该网络采用参数自由的掩码构建方法，大大降低了计算复杂度，实现了高效的实时性能，并在 Cityscapes 和 COCO 基准测试上取得了很好的效果。

Dec, 2019

具有联合语义和实例分割网络的全景分割

提出了一种用于全景分割的单一网络方法，该方法将联合训练的语义分割和实例分割网络的预测结果结合起来使用启发式方法，通过对 ResNet-50 特征提取器的共享来加快训练速度并提高内存效率，并使用 Mask R-CNN 类型的架构进行实例分割和增加 Pyramid Pooling 模块进行语义分割。在 COCO 和 Mapillary 联合识别挑战赛 2018 中，我们的方法在 Mapillary Vistas 验证集上获得了 17.6 的 PQ 分数，在 COCO 测试开发集上获得了 27.2 的 PQ 分数。

Sep, 2018

高效 PS: 高效全景分割

本文介绍一种基于 EfficientPS 架构的自动机器人场景理解新方法，能够有效地实现交通参与者和场景语义实例识别，并提出了包含 KITTI panoptic segmentation 数据集的新领域，其通过在多个基准测试中进行广泛的评估证明具有领先的性能和最高效的速度。

Apr, 2020

全景分割端到端网络

该论文提出了一种新型的端对端网络，能够高效地预测实例和物体分割，并引入了一种新的空间排名模块以处理预测实例之间的遮挡问题。在 COCO Panoptic 基准测试上取得了可喜的成果。

Mar, 2019

全景分割的训练和推理统一化

我们提出了一种端到端的网络，用于连接全景分割的训练和推理管道，通过使用密集实例亲和力来捕获像素对属于相同实例的概率，并与 ResNet-50 骨干网络配合使用，实现了对 Cityscapes 和 COCO 数据集的新记录。

Jan, 2020

用于全景分割的完全卷积网络

本文介绍了一种名为 Panoptic FCN 的概念简单、强大、高效的全景分割框架，该方法旨在以统一的卷积管道中表示和预测前景物体和背景杂物。通过提出的内核生成器，Panoptic FCN 将每个对象实例或杂物类别编码为特定的内核权重，并通过将高分辨率特征直接卷积来生成预测。通过这种方法，实例感知和语义一致的特性可以分别在一个简单的生成内核，然后进行分割的工作流中得以满足。在 COCO、Cityscapes 和 Mapillary Vistas 数据集上，不需要额外的定位框或实例分离，所提议的方法在单尺度输入上具有比以前的基于框和无框模型更高的效率。

Dec, 2020

单次全景分割

本文提出了一种全新的端到端单次方法，可以将可计数的物体实例 (事物) 以及背景区域 (物料) 分段成为一个几乎达到视频帧率的非重叠全景分割。

Nov, 2019

全景特征金字塔网络

本文介绍了一种用于 Panoptic 分割任务的新方法，即在 Mask R-CNN 模型中使用共享的 Feature Pyramid Network 实现对实体和语义分割任务的联合建模，该方法既能保持实体分割的高效性，而且还能实现语义分割的最佳性能。

Jan, 2019

全景式深度实验室

Panoptic-DeepLab 采取了双重 ASPP 和双重解码器结构，实现了单次扫描的全景分割，并在 Cityscapes 和 Mapillary Vistas 数据集上取得了最新的最优结果。

Oct, 2019