介绍了一项新的问题任务，即基于全景分割生成全景场景图（PSG）；创建了一个高质量 PSG 数据集用于基准测试，并介绍了四种传统方法的改进和两种基于 Transformer 的单阶段基线；探讨了未来的挑战和发展方向。

Jul, 2022

通过建立综合的真实世界视觉感知系统，我们提出并研究了一个称为全景场景图生成（PVSG）的新问题。PVSG 与现有的视频场景图生成（VidSGG）问题相关，后者侧重于视频中的人与物体之间的时间交互，并基于边界框进行实体识别。然而，边界框在检测非刚性物体和背景方面的局限性常常导致 VidSGG 遗漏关键细节，而 PVSG 则要求场景图中的节点由更精确的像素级分割掩码实体识别，以促进整体场景理解。为了推动这一新领域的研究，我们贡献了 PVSG 数据集，其中包含 400 个视频（289 个第三人称视频 + 111 个自我中心视频），包含 150K 帧用于全景分割掩码以及精细的时间场景图。我们还提供了各种基准方法，并分享了未来工作的有用设计实践。

Nov, 2023

从纯文本描述中生成全景场景图，通过区域分组器、实体对齐器、段合并器和标签生成器构建无显式链接、无预定义概念集的场景理解框架，有效地提高了性能和鲁棒性。

Oct, 2023

通过整合 LiDAR 和图像数据，4D-Former 方法在 4D 全景分割任务上取得了最先进的结果，能够为 LiDAR 序列中的每个点分配语义类别标签和进行对象分割，并能在时间上保持一致的对象分割遮罩。

Nov, 2023

通过测量主题对象对之间的谓词预测风险，以及学习不变的谓词表示嵌入，我们提出了一种新的框架来推断潜在的有偏见注释并将其自适应地转移为一致的注释，从而显著提高了基准模型的性能，达到了最新的最佳表现，并在 Panoptic 场景图生成数据集上展示了很好的泛化和有效性。

Oct, 2023

Mask4D 是一种基于 Transformer 的方法，用于将 LiDAR 点云进行 4D 全景分割的挑战性任务，直接预测语义实例及其时间关联，无需借助任何手工设计的非学习关联策略，通过引入时空实例查询编码每个实例轨迹的语义和几何特性，并从时空实例查询回归 6DOF 边界框参数以促进紧凑的空间预测，最终在 SemanticKITTI 测试集上取得了 68.4 LSTQ 的新的最优效果，相较于已发表的表现最佳方法提高了至少 4.5%。

Sep, 2023

从 2D 图像中重建动态 3D 场景并随时间生成多样视角是一项具有挑战性的任务，本研究提出一种基于优化一组 4D 基元的方法，以近似表示动态场景的底层时空 4D 体积，通过特定的渲染程序，制造各种时间的新视角，该方法简单灵活，适用于捕捉复杂动态场景运动，实验结果在多个基准数据集上证明了其优秀的视觉质量和高效性。

Oct, 2023

本文提出了一种基于 (2.5+1) D 场景图表示的视频问答方法，将视频帧转成伪 - 3D 视图并保持语义，然后基于此表示应用 transformer 模型进行推理，实验证明，该方法在视频问答任务中具有优异的性能。

Feb, 2022

通过 ADTrans 框架，将偏倚的谓词注释自适应性地转化为信息丰富且统一的注释，从而显著提高基准模型的性能，并在多个数据集上展现出了良好的泛化能力和有效性。

Jul, 2023

4D 点云理解领域中的 X4D-SceneFormer 框架通过跨模态知识传递和 Transformer 架构的时间关系挖掘，增强了 4D 场景理解，在动作识别和语义分割等各种 4D 点云视频理解任务中取得了卓越的性能，超过了最新技术水平。

Dec, 2023