ICCVJul, 2019

SceneGraphNet：神经信息传递用于三维室内场景增强

PDF
TL;DR本文提出了一种神经传递信息的方法来与其环境相匹配的新物体进行增强，该方法能够预测适合位置的物体类型的概率分布，并在密集图中传递学习消息来处理物体相之间的空间和结构关系，通过注意机制加权消息，在 SUNCG 数据集中比其他方法更准确地预测场景中缺失的物体，并展示了基于此方法的其他应用，包括基于上下文的 3D 对象识别和迭代场景生成。
neural message passing3d indoor sceneobject predictioncontext-based recognitioniterative scene generation
发现论文，激发创造
  • 迭代消息传递的场景图生成

    研究使用视觉图像中的基于场景图谱的结构化表示，通过端到端模型建模图像中对象之间的关系，通过消息传递技术可以更好预测对象及其关系， 实验表明该模型显著优于以前的方法。

    Jan, 2017

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 通过视听信息传递将自然图像场景图映射到实体化

    该研究提出了一种基于图神经网络的方法，通过联合描述场景中的对象，并利用上下文信息来提高对象定位性能。

    Nov, 2022

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 关系感知传递神经网络实现无偏异构场景图生成

    本文提出了一种无偏差的异构场景图生成（HetSGG）框架，它使用信息传递神经网络捕捉基于谓词类型的上下文信息，包括复杂的对象间相互作用，并且通过关系感知信息传递神经网络（RMP）实现。我们的广泛评估表明，HetSGG 优于最先进的方法，在尾部谓词类上表现尤为出色。

    Dec, 2022

  • 自适应消息传递的二分图网络用于无偏场景图生成

    通过引入自适应消息传递的置信度感知双分图神经网络和高效的双层数据重新采样策略，可以有效地消除偏差，进而实现对场景图生成的均衡处理。该方法在多个具有挑战性的数据集上实现了卓越或具有竞争力的性能，包括 Visual Genome，Open Images V4/V6。

    Apr, 2021

  • 三维室内场景语言引导的语义风格转移

    本文介绍了一种语言引导的 3D 室内场景语义风格转移的方法，基于多层感知机，视觉语言模型，采用渲染和修正的方式实现创新，通过 ScanNet 数据集测试表明，语义信息的引入显著提高了风格转移的品质和用户评分。

    Aug, 2022

  • SceneGraphFusion：基于 RGB-D 序列的增量式 3D 场景图预测

    本文提出了一种利用图神经网络从三维环境中给定的一系列 RGB-D 帧逐步建立语义场景图的方法，并提出了一种适用于部分和缺失图数据的新型注意机制。实验表明，我们的方法在某些方面表现优于三维场景图预测方法，并且精度与其他三维语义方法和全景分割方法相当，同时运行速度达到每秒 35 帧。

    Mar, 2021

  • 用于视频理解的统一图结构模型

    本文提出了一种基于信息传递的图神经网络，能够精确理解视频中行为者、对象和环境之间的关系，在显式表示对象时能够使用显式表示，否则使用隐含表示；在 AVA 和 UCF101-24 的时空行为检测以及最近的 Action Genome 数据集上的视频场景图分类等任务中，实现了最先进的结果，我们定量和定性的显示了我们的方法如何更有效地模拟场景中相关实体之间的关系。

    Mar, 2021

  • 使用场景图进行 3D 场景扩散引导

    使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023