图形到三维：使用场景图端到端生成和操作三维场景

ICCVAug, 2021

图形到三维：使用场景图端到端生成和操作三维场景

Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using Scene Graphs

Helisa Dhamo, Fabian Manhardt, Nassir Navab, Federico Tombari

TL;DR这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练，从而支持场景生成和修改。

Abstract

controllable scene synthesis consists of generating 3D information that satisfy underlying specifications. Thereby, these specifications should be abstract, i.e. allowing easy user interaction, whilst providing enough interface for detailed control. →

controllable scene synthesis scene graphs generation 3d shapes graph convolutional networks

发现论文，激发创造

通过场景图引导的布局形状生成进行构成性 3D 场景合成

从场景图生成逼真合理的三维场景，利用大型语言模型显式汇总全局图特征和局部关系特征，通过统一的图卷积网络从更新的场景图中提取图特征，并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试，我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。

Mar, 2024

CommonScenes：使用场景图生成常识化的 3D 室内场景

本文提出了一种基于场景图的全生成模型 CommonScenes，旨在通过抽象场景上下文，生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景 - 对象及局部对象 - 对象关系的捕捉，同时保留形态多样性，从而在生成一致性、品质和多样性方面具有明显优势。

May, 2023

无条件场景图生成

本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

Aug, 2021

从场景图和自注意力生成 3D 场景

使用自我关注层和图变换器从场景图和楼层平面图中合成 3D 场景布局，生成更稀疏和多样化的场景。

Apr, 2024

场景布局的端到端优化

提出一种基于变分生成模型和场景图条件的端到端场景布局合成方法，并使用可微分渲染模块优化生成的布局。实验表明，该模型可以更精确和多样地进行条件场景合成，并允许从各种输入形式生成样本化场景。

Jul, 2020

GraphDreamer: 从场景图生成组合式三维场景合成

通过使用场景图生成组成 3D 场景的图形图像扩散预训练模型，利用节点和边的信息，GraphDreamer 能够生成高保真的分解对象实体的组合性 3D 场景。

Nov, 2023

从场景图生成图像

提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

Apr, 2018

使用场景图进行 3D 场景扩散引导

使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

Aug, 2023

使用场景图实现交互式图像生成

本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

May, 2019

动态场景的神经场景图

该论文提出了一种新的神经渲染方法，能够将动态环境分解成场景图，通过隐式编码学习场景的变换和辐射度，并能够渲染未见过的物体、位置的各种动态场景，达到了高度逼真的效果。

Nov, 2020