3D 动态场景图：通过场景、物体和人物实现可操作的空间感知

Feb, 2020

3D 动态场景图：通过场景、物体和人物实现可操作的空间感知

3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans

Antoni Rosinol, Arjun Gupta, Marcus Abate, Jingnan Shi, Luca Carlone

TL;DR本文提出 3D 动态场景图作为空间感知的统一表示方法，同时基于视觉惯性数据提供第一个全自动 Spatial PerceptIon eNgine (SPIN) automatically 构建 DSG，并且采用最先进的技术实现物体和人物检测及姿态估计，从而在场景分析，动作规划，决策制定等方面具有极大的潜力。

Abstract

We present a unified representation for actionable spatial perception: 3D Dynamic Scene Graphs. Scene graphs are directed graphs where nodes represent entities in the scene (e.g. objects, walls, rooms), and edges represent relations (e.g. inclusion, adjacency) among nodes. Dynamic scen

3d dynamic scene graphs spatial perception dsgs spin visual-inertial slam

发现论文，激发创造

时空事件图像用于动态场景理解

该论文介绍了关于动态场景理解的研究，主要涉及自动驾驶、道路事件检测、视频活动检测、持续学习等内容。

Dec, 2023

三维场景图：智能代理的物理环境稀疏语义表示

提出了一种用于智能代理系统的多功能环境建模方法 ——3D 场景图模型，其具有广泛的适用性、直观的易用性和满意的可扩展性，并通过实验验证了该方法的准确性和适用性。

Aug, 2019

从 SLAM 到 3D 动态场景图的空间感知 Kimera

这篇论文介绍了一种新型的 3D 动态场景图，称为 DSG，以捕捉动态环境的度量和语义方面，同时提供了一种全自动构建 DSG 的方法 Kimera，并且在实时的语境下，实现了基于 DSG 的层次化语义路径规划。

Jan, 2021

从 3D 室内重建学习 3D 语义场景图

本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

Apr, 2020

学习用于机器人操作的 3D 动态场景表达

介绍了一种通过同时发现、跟踪、重构对象及预测其动态来捕获三个关键对象属性的三维动态场景表示方法 DSR，基于此提出了 DS 核网络 DSR-Net 模型，在建立和优化 DSR 模型的过程中逐渐聚合视觉观测，并在仿真和实际数据上实现了 3D 场景动力学建模的最新性能，结合模型预测控制，也为下游机器人操作任务如平面推动提供了准确规划的能力。

Nov, 2020

ConceptGraphs: 开放词汇三维场景图用于感知和规划

为了使机器人能够执行各种任务，本研究提出了一种名为 ConceptGraphs 的基于图结构的 3D 场景表示方法，通过将 2D 基本模型的输出与多视图关联相结合，不需要收集大型 3D 数据集或微调模型即可实现对新的语义类进行泛化推理，并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。

Sep, 2023

基于语言增强的空间本体论的室内外三维场景图生成

该论文提出了一种在任意环境（室内和室外）中构建 3D 场景图的方法。为了解决室内和室外环境的概念层次复杂性和训练数据不足的挑战，提出了构建空间本体和使用逻辑张量网络构建 3D 场景图的两个新扩展。通过使用大型语言模型构建空间本体，从而大大减少手动工作量；并利用逻辑张量网络添加逻辑规则或公理，提供附加的监督信号，减少标记数据的需求，并在训练时允许预测未见过的概念。在多个数据集上测试表明，该方法显著提高了使用稀疏注释数据生成 3D 场景图的质量。

Dec, 2023

具有空间约束扩散模型的人类感知三维场景生成

通过扩展基于自回归的人体感知 3D 场景生成方法，本研究探索了扩散模型在同时考虑多个输入人体和底图的情况下生成逼真三维场景的潜力，并引入了人物物体碰撞避免和房间边界约束等空间碰撞导向机制来避免与人体动作冲突的场景生成。大量实验结果表明，与现有最先进方法相比，我们的框架可以生成更自然、更逼真的三维场景，具有精确的人体场景交互，并显著减少人物物体碰撞。

Jun, 2024

任务地理学：针对大型三维场景图的机器人任务规划评估

该研究提出了基于 3D 场景图的大规模机器人任务规划基准，系统研究了符号计划的性能，并提出了任务条件下的 3DSG 稀疏化方法 SCRUB 和学习规划器的结构化剪枝方法 SEEK，以期在机器人任务规划，学习和 3DSGs 等领域推动进一步的研究。

Jul, 2022

动态场景图生成的本地 - 全局信息交互解偏差

提出了一种基于多任务学习的新型动态场景图生成模型，该模型结合了局部交互信息和全局人物行为交互信息，通过对象和帧特征之间的交互使模型更全面地理解单幅图像的视觉环境，并使用长时人体动作监督模型生成符合全局约束条件且避免不能学习尾谓词的多个场景图。实验证明了该框架的功效，不仅改善了动态场景图生成，还缓解了长尾问题。

Aug, 2023