从 3D 室内重建学习 3D 语义场景图
通过三个连续的阶段,构建场景图、推理和推断,我们提出了一种三维基于点的场景图生成(SGG_point)框架,在推理阶段创建了一种面向边缘的图卷积网络(EdgeGCN),以利用多维边缘特征进行显式关系建模,同时探索了节点和边缘之间的两种相关的孪生交互机制,以独立演化场景图表示。
Mar, 2021
提出了 SGRec3D,这是一种用于预先训练三维场景图预测的新方法,无需对象关系标签,可以利用大规模三维场景理解数据集进行训练。在细调期间只使用 10% 标记数据集便可优于未进行预先训练的模型。
Sep, 2023
本研究提出了一种基于场景图的三维语义理解方法,构建了一个场景图,包括物体、房间和摄像机之间的关系,同时也提出了一种半自动的框架以减少手动处理的工作量,并增强了现有的检测方法,通过查询图片和多视角一致性实现了更好的检测表现。
Oct, 2019
本论文提出一种实时框架,使用 RGB 图像序列增量构建一致的三维语义场景图,包括新颖的增量实体估计流水线和场景图预测网络,使用多视角和几何特征,通过迭代信息传递估计三维语义场景图。经过在 3RScan 数据集上大量实验证明,该方法在这项挑战性任务中表现良好,优于现有的最先进方法。
May, 2023
本文提出了一种利用图神经网络从三维环境中给定的一系列 RGB-D 帧逐步建立语义场景图的方法,并提出了一种适用于部分和缺失图数据的新型注意机制。实验表明,我们的方法在某些方面表现优于三维场景图预测方法,并且精度与其他三维语义方法和全景分割方法相当,同时运行速度达到每秒 35 帧。
Mar, 2021
为解决场景图构建的大量人工成本,提出了一种基于图像语义关系生成的简单有效的图像到文本模型(ISRG),该模型通过将场景图任务分解为两个子任务,即图像分割任务和限制性自回归文本生成任务,极大地降低了场景图的构建成本。在 OpenPSG 数据集上,该模型获得了 31 分,相应地优于强基线 ResNet-50 和 CLIP 16 点和 5 点。
Oct, 2022
本文为场景图生成的详细调查报告,主要讨论了场景图生成的各种技术、它们的有效性以及场景图在视觉关系理解和其他任务中的应用,同时分析了未来发展的方向。
May, 2020
本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen,通过层级循环架构直接学习带标签和有向图的概率分布,生成的场景图多样且遵循真实场景的语义模式,同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。
Aug, 2021
为了使机器人能够执行各种任务,本研究提出了一种名为 ConceptGraphs 的基于图结构的 3D 场景表示方法,通过将 2D 基本模型的输出与多视图关联相结合,不需要收集大型 3D 数据集或微调模型即可实现对新的语义类进行泛化推理,并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。
Sep, 2023