ICCVJul, 2023

深度统一的面向深度感知全景分割与双向引导学习

PDF
TL;DR深度感知全景分割是计算机视觉中的新兴话题，结合了语义和几何理解，以实现更稳健的场景解释。我们提出了一种深度统一框架，用于深度感知全景分割，通过相同的对象查询以分段方式执行联合分割和深度估计。为了缩小两个任务之间的差距，我们进一步设计了一种几何查询增强方法，利用潜在表示将场景几何集成到对象查询中。此外，我们提出了一种双向引导学习方法，通过利用它们的相互关系来促进跨任务特征学习。我们的方法在 Cityscapes-DVPS 和 SemKITTI-DVPS 数据集上树立了深度感知全景分割的最新技术水平，并且我们的引导学习方法还在不完整监督标签下提高了性能。
depth-aware panoptic segmentationcomputer visionsemantic understandinggeometric understandingcross-task feature learning
发现论文，激发创造
  • PanopticDepth: 一个统一的深度感知全景分割框架

    本文提出了一种深度感知全景分割 (DPS) 的统一框架，该框架通过应用动态卷积技术来解决全景分割和深度预测任务之间的互补关系，从而实现对单张图像进行实例级语义重建，通过实例级深度估计方案，为辅助监督深度学习而添加额外的实例级深度提示，实验结果表明该方法具有实用性和前景。

    Jun, 2022

  • 深度感知全景分割

    基于 RGB 图像和深度图像的全景分割的新方法；通过使用所观察场景的 3D 几何信息，减少错误合并为一个事物实例的对象数量，提高全景质量。

    Mar, 2024

  • PolyphonicFormer: 深度感知视频全景分割的统一查询学习

    本文提出了一种称为 PolyphonicFormer 的视觉变换器，它使用查询查询技术将深度估计与全景分割统一起来，具有更好的性能。通过实验证明了我们的方法在深度估计和全景分割方面取得了最先进的结果，并在 ICCV-2021 BMTT 挑战赛中获得了第一名。

    Dec, 2021

  • ViP-DeepLab：深入学习基于深度感知的全景视频分割的视觉感知

    ViP-DeepLab 是一种联合模型，尝试解决视觉中长期存在且具有挑战性的逆投影问题。该模型通过联合执行单眼深度估计和视频全景分割来处理该问题，并提供每个点的实例级语义解释。在子任务中，ViP-DeepLab 也取得了最先进的结果，在 Cityscapes-VPS 中超越以前的方法 5.1％ VPQ，在 KITTI 单眼深度估计基准测试中排名第一，在 KITTI MOTS 中排名第一。

    Dec, 2020

  • 2D-3D 视觉 - 语言蒸馏的 3D 开放词汇全景分割

    我们提出了一种新方法，通过学习 LiDAR 特征和固定的 CLIP 特征之间的融合来处理 3D 开放式词汇全景分割问题，并提出了两个新的损失函数：物体级蒸馏损失和体素级蒸馏损失。在 nuScenes 和 SemanticKITTI 数据集上的实验证明，我们的方法显著优于强基准模型。

    Jan, 2024

  • Panoptic-DeepLab: 一种简单、强大、快速的自下而上全景分割基线

    Panoptic-DeepLab 是一个用于全景分割的模型，具有简单、强大和快速的特点。通过采用语义和实例分割的双重 ASPP 和双重解码器结构，同时使用语义分割模型的典型设计和类别不可知的实例中心回归，Panoptic-DeepLab 超过了所有三个 Cityscapes 基准测试，取得了新的最佳表现，并在 Mapillary Vistas 测试集上提供了未来领先的 42.7％ PQ 精度.

    Nov, 2019

  • 全景式深度实验室

    Panoptic-DeepLab 采取了双重 ASPP 和双重解码器结构，实现了单次扫描的全景分割，并在 Cityscapes 和 Mapillary Vistas 数据集上取得了最新的最优结果。

    Oct, 2019

  • 全景 - 深度色彩图像的深度与图像分割组合

    图像分割和深度估计是计算机视觉中关键的任务，特别是在自动驾驶场景中。我们基于一种全新的深度学习网络 Panoptic-DepthLab，将这两个任务结合起来，在分割网络中增加了深度估计分支，可以预测每个实例分割的深度。通过在 Cityscape 数据集上的评估，我们证明了我们的方法在实现高质量分割结果且能够通过颜色映射可视化深度方面的有效性。我们的提出的方法展示了将不同任务和网络结合以生成更全面的图像识别结果，以促进自动驾驶车辆的安全的新可能性。

    Aug, 2023

  • BANet：双向聚合网络在遮挡处理方面的全景分割

    本文提出了一种基于双向学习流程和插拔式遮挡处理算法的深度全景分割方案，用于同时执行前景实例的实例分割和背景物品的语义分割，并能有效地处理不同物体实例之间的遮挡问题。在 COCO 全景基准测试中，实验结果验证了我们所提出的方法的有效性。

    Mar, 2020

  • 全景分割

    本文提出并研究了一项称为全景分割的任务，该任务将语义分割和实例分割两个任务统一起来，提出了新型的评估指标，并进行了全面的研究。

    Jan, 2018