ICCVOct, 2019

3D 场景图：统一语义、三维空间、相机结构

PDF
TL;DR本研究提出了一种基于场景图的三维语义理解方法，构建了一个场景图，包括物体、房间和摄像机之间的关系，同时也提出了一种半自动的框架以减少手动处理的工作量，并增强了现有的检测方法，通过查询图片和多视角一致性实现了更好的检测表现。
semantic understandingscene graph3dsemi-automatic frameworkmultiview consistency
发现论文，激发创造
  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 三维场景图：智能代理的物理环境稀疏语义表示

    提出了一种用于智能代理系统的多功能环境建模方法 ——3D 场景图模型，其具有广泛的适用性、直观的易用性和满意的可扩展性，并通过实验验证了该方法的准确性和适用性。

    Aug, 2019

  • ConceptGraphs: 开放词汇三维场景图用于感知和规划

    为了使机器人能够执行各种任务，本研究提出了一种名为 ConceptGraphs 的基于图结构的 3D 场景表示方法，通过将 2D 基本模型的输出与多视图关联相结合，不需要收集大型 3D 数据集或微调模型即可实现对新的语义类进行泛化推理，并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。

    Sep, 2023

  • 场景图的全面调查：生成与应用

    本文对当前场景图研究进行了全面的调查，总结了场景图的定义、生成方法、应用及现有数据集，并对未来发展提出了一些见解。

    Mar, 2021

  • 关于支持关系和语义场景图

    该论文提出了一种新颖的方法来推断场景中的支撑关系和构建语义场景图，以增强场景理解，并构建了一种描述场景内所有上下文关系的语义场景图。

    Sep, 2016

  • 图形到三维：使用场景图端到端生成和操作三维场景

    这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练，从而支持场景生成和修改。

    Aug, 2021

  • 场景图生成可解释模型

    提出了一种高效且可解释的场景图生成器，考虑了视觉、空间和语义三种特征并使用了后期融合策略，模型在 OpenImages 可视关系检测竞赛中表现优越，得分比第二名高出 5%（相对增长率 20%），该生成器是实现基于视觉语言任务如图像字幕和视觉问答的重要基石。

    Nov, 2018

  • DeepPanoContext: 全景三维场景理解，基于整体场景上下文图和基于关系的优化

    本研究提出了一种基于全景图像的新颖的三维场景理解方法，通过设计基于图神经网络的上下文模型来预测物体之间的关系和房间布局，以及可微分的基于关系的优化模块来优化物体排列，实现对全景三维场景的理解， 并制备了具有多样化房间布局和家具摆放的真实感合成数据集，在几何精度和目标布置方面优于现有方法。

    Aug, 2021

  • 用于布局组合和补丁检索的简洁场景图

    提出了两种改进场景结构表示法的方法，通过启发式关系和极端点表示法，显著提高相关分数测量方法的性能，并演示了如何使用场景图检索与源查询语义相似的姿态约束图像块，这是实现逼真图像生成的重要一步。

    Apr, 2019

  • 外科视频的动态场景图表示

    通过使用场景图和图卷积网络对手术视频进行建模和分析，研究证明其在自动化手术工作流识别方面具有竞争性能，并对模型决策的解释性和稳健性提供了关键的临床支持。

    Sep, 2023