CVPRMar, 2021

利用边缘定向推理进行基于三维点的场景图分析

PDF
TL;DR通过三个连续的阶段，构建场景图、推理和推断，我们提出了一种三维基于点的场景图生成（SGG_point）框架，在推理阶段创建了一种面向边缘的图卷积网络（EdgeGCN），以利用多维边缘特征进行显式关系建模，同时探索了节点和边缘之间的两种相关的孪生交互机制，以独立演化场景图表示。
发现论文，激发创造
  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 可微分场景图

    该论文介绍了 Differentiable Scene Graphs (DSGs)—— 一种可微的、可端到端优化的图像表示方法，该方法通过利用有标签的下游任务进行监督，对场景图中的实体和关系进行密集编码，从而在视觉推理任务中取得了新的最优表现，特别在指代关系标识方面表现良好。

    Feb, 2019

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • ESGNN：面向三维场景理解的等变场景图神经网络

    该论文通过引入等变图神经网络 (ESGNN) 到三维点云生成语义场景图中，实现了对场景的理解和估计的显著提升，并在速度和收敛性上具备优势，为机器人技术和计算机视觉等实时应用铺平了道路。

    Jun, 2024

  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023

  • 全景场景图生成

    介绍了一项新的问题任务，即基于全景分割生成全景场景图（PSG）；创建了一个高质量 PSG 数据集用于基准测试，并介绍了四种传统方法的改进和两种基于 Transformer 的单阶段基线；探讨了未来的挑战和发展方向。

    Jul, 2022

  • 扩展场景图边界：通过视觉 - 概念对齐和保持实现全开词汇场景图生成

    提出了一种名为 OvSGTR 的统一框架，用于从整体视角实现完全开放词汇的场景图生成，并通过知识蒸馏保留视觉 - 概念对齐，综合实验结果在 Visual Genome 基准上证明了该框架的有效性和优越性。

    Nov, 2023

  • 图形到三维：使用场景图端到端生成和操作三维场景

    这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练，从而支持场景生成和修改。

    Aug, 2021

  • 从像素到图形：利用视觉语言模型进行开放式场景图生成

    基于序列生成的新型开放词汇的场景图生成框架，通过使用视觉语言预训练模型和显式关系建模知识，实现了优质性能的开放词汇感知场景图生成和增强下游视觉语言任务的目的。

    Apr, 2024

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023