Sep, 2018

具有联合语义和实例分割网络的全景分割

PDF
TL;DR提出了一种用于全景分割的单一网络方法，该方法将联合训练的语义分割和实例分割网络的预测结果结合起来使用启发式方法，通过对 ResNet-50 特征提取器的共享来加快训练速度并提高内存效率，并使用 Mask R-CNN 类型的架构进行实例分割和增加 Pyramid Pooling 模块进行语义分割。在 COCO 和 Mapillary 联合识别挑战赛 2018 中，我们的方法在 Mapillary Vistas 验证集上获得了 17.6 的 PQ 分数，在 COCO 测试开发集上获得了 27.2 的 PQ 分数。
panoptic segmentationjoint trainingsemantic segmentationinstance segmentationmask r-cnn
发现论文，激发创造
  • Panoptic 分割的实例网络和语义分割集成

    本文提出了解决 2019 年 COCO 全景分割任务的方法，结合了实例分割和语义分割，采用多种模型和策略，获取了最佳结果 $PQ$ 47.1。

    Apr, 2023

  • 街景理解的单网络全景分割

    本文提出了一种用于全景分割的深度神经网络，将语义分割与实例分割任务联合起来，从而在单次计算中为输入图像的每个像素提供类标签和唯一对象标识符，并且通过增强信息共享和合并启发式方法，单个网络的性能提高，如在 Cityscapes 上可获得 45.9 的 PQ 分数。

    Feb, 2019

  • 全景特征金字塔网络

    本文介绍了一种用于 Panoptic 分割任务的新方法，即在 Mask R-CNN 模型中使用共享的 Feature Pyramid Network 实现对实体和语义分割任务的联合建模，该方法既能保持实体分割的高效性，而且还能实现语义分割的最佳性能。

    Jan, 2019

  • 全景分割的训练和推理统一化

    我们提出了一种端到端的网络，用于连接全景分割的训练和推理管道，通过使用密集实例亲和力来捕获像素对属于相同实例的概率，并与 ResNet-50 骨干网络配合使用，实现了对 Cityscapes 和 COCO 数据集的新记录。

    Jan, 2020

  • 全景分割端到端网络

    该论文提出了一种新型的端对端网络，能够高效地预测实例和物体分割，并引入了一种新的空间排名模块以处理预测实例之间的遮挡问题。在 COCO Panoptic 基准测试上取得了可喜的成果。

    Mar, 2019

  • 无缝场景分割

    本研究提出了一种基于 CNN 的新型架构，可以进行端到端的训练，以提供无缝的场景分割结果。该网络结构采用了一种新颖的分割头，将由特征金字塔网络生成的多尺度特征与由轻量级 DeepLab 模块传递的上下文信息进行了无缝整合，从而预测一致的语义分割和检测结果。此外，研究人员还提出了一种替代 panoptic 度量的方法，克服了评估非实例类别时的局限性。通过在三个具有挑战性的街景数据集上测试，即 Cityscapes、Indian Driving Dataset 和 Mapillary Vistas，我们的网络架构取得了最先进的结果。

    May, 2019

  • 全景式深度实验室

    Panoptic-DeepLab 采取了双重 ASPP 和双重解码器结构，实现了单次扫描的全景分割，并在 Cityscapes 和 Mapillary Vistas 数据集上取得了最新的最优结果。

    Oct, 2019

  • 单次全景分割

    本文提出了一种全新的端到端单次方法，可以将可计数的物体实例 (事物) 以及背景区域 (物料) 分段成为一个几乎达到视频帧率的非重叠全景分割。

    Nov, 2019

  • 基于密集检测的实时全景分割

    本文提出了一种基于密集检测和全局自注意力机制的新型单次全景分割网络，该网络采用参数自由的掩码构建方法，大大降低了计算复杂度，实现了高效的实时性能，并在 Cityscapes 和 COCO 基准测试上取得了很好的效果。

    Dec, 2019

  • BANet：双向聚合网络在遮挡处理方面的全景分割

    本文提出了一种基于双向学习流程和插拔式遮挡处理算法的深度全景分割方案，用于同时执行前景实例的实例分割和背景物品的语义分割，并能有效地处理不同物体实例之间的遮挡问题。在 COCO 全景基准测试中，实验结果验证了我们所提出的方法的有效性。

    Mar, 2020