全景分割的训练和推理统一化
提出了一种用于全景分割的单一网络方法,该方法将联合训练的语义分割和实例分割网络的预测结果结合起来使用启发式方法,通过对 ResNet-50 特征提取器的共享来加快训练速度并提高内存效率,并使用 Mask R-CNN 类型的架构进行实例分割和增加 Pyramid Pooling 模块进行语义分割。在 COCO 和 Mapillary 联合识别挑战赛 2018 中,我们的方法在 Mapillary Vistas 验证集上获得了 17.6 的 PQ 分数,在 COCO 测试开发集上获得了 27.2 的 PQ 分数。
Sep, 2018
该论文提出了一种新型的端对端网络,能够高效地预测实例和物体分割,并引入了一种新的空间排名模块以处理预测实例之间的遮挡问题。在 COCO Panoptic 基准测试上取得了可喜的成果。
Mar, 2019
本文提出了一种用于全景分割的深度神经网络,将语义分割与实例分割任务联合起来,从而在单次计算中为输入图像的每个像素提供类标签和唯一对象标识符,并且通过增强信息共享和合并启发式方法,单个网络的性能提高,如在 Cityscapes 上可获得 45.9 的 PQ 分数。
Feb, 2019
本文介绍了一种名为 Panoptic FCN 的概念简单、强大、高效的全景分割框架,该方法旨在以统一的卷积管道中表示和预测前景物体和背景杂物。通过提出的内核生成器,Panoptic FCN 将每个对象实例或杂物类别编码为特定的内核权重,并通过将高分辨率特征直接卷积来生成预测。通过这种方法,实例感知和语义一致的特性可以分别在一个简单的生成内核,然后进行分割的工作流中得以满足。在 COCO、Cityscapes 和 Mapillary Vistas 数据集上,不需要额外的定位框或实例分离,所提议的方法在单尺度输入上具有比以前的基于框和无框模型更高的效率。
Dec, 2020
该论文提出了一种端到端的学习方法,用于解决统一实例分割和语义分割任务,所提出的 TASCNet 模型使用共享的骨干网络特征图,通过单次前向传递来预测实例和语义分割,并通过全局的实例和语义二进制掩码来明确约束这两个输出分布,以强制实现跨任务的一致性。实验证明,所提出的统一网络在几个基准测试中与最先进的方法相当,并且在单个语义和实例分割任务上也表现出色。
Dec, 2018
本文介绍了一种用于 Panoptic 分割任务的新方法,即在 Mask R-CNN 模型中使用共享的 Feature Pyramid Network 实现对实体和语义分割任务的联合建模,该方法既能保持实体分割的高效性,而且还能实现语义分割的最佳性能。
Jan, 2019
本文提出了一种基于密集检测和全局自注意力机制的新型单次全景分割网络,该网络采用参数自由的掩码构建方法,大大降低了计算复杂度,实现了高效的实时性能,并在 Cityscapes 和 COCO 基准测试上取得了很好的效果。
Dec, 2019
本研究提出了一种基于 CNN 的新型架构,可以进行端到端的训练,以提供无缝的场景分割结果。该网络结构采用了一种新颖的分割头,将由特征金字塔网络生成的多尺度特征与由轻量级 DeepLab 模块传递的上下文信息进行了无缝整合,从而预测一致的语义分割和检测结果。此外,研究人员还提出了一种替代 panoptic 度量的方法,克服了评估非实例类别时的局限性。通过在三个具有挑战性的街景数据集上测试,即 Cityscapes、Indian Driving Dataset 和 Mapillary Vistas,我们的网络架构取得了最先进的结果。
May, 2019