图像和视频全景分割的通用框架

Oct, 2022

A Generalist Framework for Panoptic Segmentation of Images and Videos

Ting Chen, Lala Li, Saurabh Saxena, Geoffrey Hinton, David J. Fleet

TL;DR本研究利用基于模拟比特的扩散模型来解决全景分割任务中高维的一对多映射，通过添加过去的预测作为信息输入，能够对视频中的对象实例进行跟踪并自动学习，在各项实验中与现有的专业方法相比表现出了竞争性。

Abstract

panoptic segmentation assigns semantic and instance id labels to every pixel of an image. As permutations of instance IDs are also valid solutions, the task requires learning of high-dimensional one-to-many mappi

panoptic segmentation semantic labels instance id labels diffusion model tracking

发现论文，激发创造

自训练全景分割

通过自学习方法在合成到真实的领域适应问题设置中，开发了一个基于嵌入的自学习全景分割框架。

Nov, 2023

全景分割端到端网络

该论文提出了一种新型的端对端网络，能够高效地预测实例和物体分割，并引入了一种新的空间排名模块以处理预测实例之间的遮挡问题。在 COCO Panoptic 基准测试上取得了可喜的成果。

Mar, 2019

全景分割

本文提出并研究了一项称为全景分割的任务，该任务将语义分割和实例分割两个任务统一起来，提出了新型的评估指标，并进行了全面的研究。

Jan, 2018

视频全景分割

本文提出了一种名为 Video Panoptic Segmentation 的新型视觉识别任务，同时提出了两个视频全景数据集，以及一种 VPSNet 网络，在 VPQ 度量下，在 Cityscapes-VPS 和 VIPER 数据集上实现了最先进的结果。

Jun, 2020

深度感知全景分割

基于 RGB 图像和深度图像的全景分割的新方法；通过使用所观察场景的 3D 几何信息，减少错误合并为一个事物实例的对象数量，提高全景质量。

Mar, 2024

街景理解的单网络全景分割

本文提出了一种用于全景分割的深度神经网络，将语义分割与实例分割任务联合起来，从而在单次计算中为输入图像的每个像素提供类标签和唯一对象标识符，并且通过增强信息共享和合并启发式方法，单个网络的性能提高，如在 Cityscapes 上可获得 45.9 的 PQ 分数。

Feb, 2019

大规模 LiDAR 点云中精确实例分割的研究

研究通过聚类策略和点嵌入来改进全景分割的实例分割步骤，以解决同一个语义类别附近实例分割的挑战，实验证明该策略的有效性和多样性。

Jul, 2023

学习为视频全景分割关联每个段落

本文探讨了如何通过学习粗略的分段级别和细微的像素级别匹配来实现动态场景的全景理解，提出了两个新颖的学习目标，并采用深度孪生模型来验证提议，最终在 Cityscapes-VPS 和 VIPER 数据集上实现了新的最新成果，同时也提高了模型的时间效率。

Jun, 2021

全景分割预测

通过场景分解，从背景和前景分别预测背景的运动和物体的运动，我们提出了全景分割预测，可以在已有模型的基础上实现背景与物体的双重预测，比现有的基线模型性能更好。

Apr, 2021

自动驾驶全景分割鲁棒性的基准测试

准确的情景感知对于辅助和自动驾驶功能 (AAD) 的安全决策至关重要。全景分割是一种有前景的感知技术，可以在像素级别上识别和分类对象、潜在危险和可驾驶空间。本研究提出了一个统一的流程，评估全景分割模型在 AAD 中的鲁棒性，并将其与传统图像质量进行相关联。

Feb, 2024