本文提出从机器人体验和交互的角度重新思考场景重建问题，通过 RGB-D 数据流实现一个交互场景的重建，该场景通过一个基于图的场景表示组织物体之间的物理常识来推理物体的可行性和上下文关系，并将物体网格替换为基于零件的关节 CAD 模型，以提供更细致的机器人交互。

Mar, 2021

通过建立综合的真实世界视觉感知系统，我们提出并研究了一个称为全景场景图生成（PVSG）的新问题。PVSG 与现有的视频场景图生成（VidSGG）问题相关，后者侧重于视频中的人与物体之间的时间交互，并基于边界框进行实体识别。然而，边界框在检测非刚性物体和背景方面的局限性常常导致 VidSGG 遗漏关键细节，而 PVSG 则要求场景图中的节点由更精确的像素级分割掩码实体识别，以促进整体场景理解。为了推动这一新领域的研究，我们贡献了 PVSG 数据集，其中包含 400 个视频（289 个第三人称视频 + 111 个自我中心视频），包含 150K 帧用于全景分割掩码以及精细的时间场景图。我们还提供了各种基准方法，并分享了未来工作的有用设计实践。

Nov, 2023

本文提出了全景人体活动识别（PAR）问题，介绍了基于层次图神经网络的解决方法，并建立了 benchmark 数据集。实验验证了所提出问题，算法和 benchmark 的合理性和有效性。

Mar, 2022

本文提出了一种名为 Video Panoptic Segmentation 的新型视觉识别任务，同时提出了两个视频全景数据集，以及一种 VPSNet 网络，在 VPQ 度量下，在 Cityscapes-VPS 和 VIPER 数据集上实现了最先进的结果。

Jun, 2020

本文介绍了一种新的感知任务，名为多物体全景追踪，它将传统上分离的语义分割、实例分割和多物体追踪任务综合在一起，并提出了基于软全景追踪质量度量的评估方法。本文还提出了一种新的全景追踪网络 PanopticTrackNet，用于同时学习所有子任务。实验结果表明，此方法在基于视觉和 LiDAR 的多物体追踪上均表现优异。

Apr, 2020

该研究使用多个视角和多种数据模式，提供全景视角和个人视角的场景理解数据集，以模拟真实世界中的信息访问方式，并通过 5 个不同的场景理解任务对数据集进行了评估，希望为综合场景理解提供更广泛的范围和多元化视角。

Apr, 2024

介绍了扩展了 nuScenes 数据集的大规模全景 nuScenes 基准数据集，以便对动态城市环境的全景场景理解方法进行研究和评估，同时提出了各种分割和跟踪任务的强基线方法，并提出了面向实例的新型 PAT 指标，解决了现有指标的局限性。

Sep, 2021

本文提出了一种从单目视角输入捕获目标人物 3D 运动的方法，利用 3D 可变形网格模型重建运动，使用 3D 部分方向场对所有身体部位的 3D 方向进行编码，在训练集和性能评估方面表现良好，并在各种挑战性的野外视频上演示了总体运动捕捉的结果。

Dec, 2018

通过标注协助者与自动化助手协作的方式，有效降低了全视场分割图像标注的工作量，并经过 COCO 数据集的严格实验验证，证明优于传统的手动标注方法。

Jun, 2019

本文提出了一种新的方法，用于在具有三个自由度的全景设置中进行事件摄像机的摄像机跟踪。该方法利用事件的空间位置而不使用图像场景点的外观进行跟踪。结果表明该方法能够应对快速移动的物体和场景中的动态物体。

Mar, 2017