Jun, 2023

UniSG^GA：一种由 Geometric Algebra 驱动的 3D 场景图，将几何、行为和 GNN 统一，朝着生成式 AI 方向前进

PDF
TL;DR这项工作介绍了 UniSG^GA 的推出，它是一种新的集成场景图结构，可在三维场景中合并行为和几何数据，并特别设计了无缝集成图神经网络 (GNNs) 的方法，以解决生成任务中转换三维场景图 (3D - SG) 所带来的挑战。
unisg^gascenegraphgraph neural networksgeometric algebragenerative tasks
发现论文，激发创造
  • UniGNN：一种用于图和超图神经网络的统一框架

    本文提出了 UniGNN 框架，使得现有的图神经网络能够直接应用于超图，并证明了该框架比传统算法更有效地处理超图数据。

    May, 2021

  • 利用边缘定向推理进行基于三维点的场景图分析

    通过三个连续的阶段，构建场景图、推理和推断，我们提出了一种三维基于点的场景图生成（SGG_point）框架，在推理阶段创建了一种面向边缘的图卷积网络（EdgeGCN），以利用多维边缘特征进行显式关系建模，同时探索了节点和边缘之间的两种相关的孪生交互机制，以独立演化场景图表示。

    Mar, 2021

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • UniG3D：统一的三维物体生成数据集

    UniG3D 是一个统一的 3D 对象生成数据集，采用 Objaverse 和 ShapeNet 数据集的通用数据转换管道，并使用渲染引擎和多模态模型将每个原始的 3D 模型转换成包含文本、图像、点云和网格的综合多模态数据表示，该数据集可应用于任何 3D 数据集中。

    Jun, 2023

  • 图形到三维：使用场景图端到端生成和操作三维场景

    这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练，从而支持场景生成和修改。

    Aug, 2021

  • 无条件场景图生成

    本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

    Aug, 2021

  • 通过场景图引导的布局形状生成进行构成性 3D 场景合成

    从场景图生成逼真合理的三维场景，利用大型语言模型显式汇总全局图特征和局部关系特征，通过统一的图卷积网络从更新的场景图中提取图特征，并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试，我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。

    Mar, 2024

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • UniGen：用于生成自动驾驶场景的初始代理状态和轨迹的统一建模

    UniGen 是一种用于通过模拟生成新交通场景以评估和改进自动驾驶软件的新方法，通过统一建模来模拟所有驾驶场景元素，包括新代理的位置、初始状态和未来运动轨迹，以实现对现有场景中所有上下文的完全条件。该方法结合自回归代理注入，使每个新代理的位置和运动轨迹都依赖于所有已有代理及其轨迹，从而产生具有低碰撞率的逼真场景。在 Waymo Open Motion 数据集上的实验证明 UniGen 优于现有前沿技术。

    May, 2024

  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023