Mar, 2024

通过场景图引导的布局形状生成进行构成性 3D 场景合成

PDF
TL;DR从场景图生成逼真合理的三维场景，利用大型语言模型显式汇总全局图特征和局部关系特征，通过统一的图卷积网络从更新的场景图中提取图特征，并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试，我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。
compositional 3d scene synthesisshape generationlayout generationscene graphgraph convolution network
发现论文，激发创造
  • 图形到三维：使用场景图端到端生成和操作三维场景

    这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练，从而支持场景生成和修改。

    Aug, 2021

  • 场景布局的端到端优化

    提出一种基于变分生成模型和场景图条件的端到端场景布局合成方法，并使用可微分渲染模块优化生成的布局。实验表明，该模型可以更精确和多样地进行条件场景合成，并允许从各种输入形式生成样本化场景。

    Jul, 2020

  • CommonScenes：使用场景图生成常识化的 3D 室内场景

    本文提出了一种基于场景图的全生成模型 CommonScenes，旨在通过抽象场景上下文，生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景 - 对象及局部对象 - 对象关系的捕捉，同时保留形态多样性，从而在生成一致性、品质和多样性方面具有明显优势。

    May, 2023

  • 用于布局组合和补丁检索的简洁场景图

    提出了两种改进场景结构表示法的方法，通过启发式关系和极端点表示法，显著提高相关分数测量方法的性能，并演示了如何使用场景图检索与源查询语义相似的姿态约束图像块，这是实现逼真图像生成的重要一步。

    Apr, 2019

  • 语义调色板：使用类别比例引导场景生成

    该研究提出使用基于类比的语义控制生成城市场景的方法，并证明该方法在各项指标和城市场景基准测试中优于现有基线。 此外，作者还证明了用于数据增强的实用性。

    Jun, 2021

  • 使用场景图进行 3D 场景扩散引导

    使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023

  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 城市建筑师：带有布局先验的可操控的三维城市场景生成

    通过引入一种组合式 3D 布局表示方法到文本转 3D 范式中的本文，克服了在大规模城市范围内扩展这一方法的局限性，并且成功地将文本转 3D 技术应用于覆盖超过 1000m 行驶距离的大尺度城市场景，同时展示了可调控城市场景生成的强大能力。

    Apr, 2024

  • 几何图像合成

    本研究提出了一种可训练的、基于几何感知的图像生成方法，利用几何和分割等场景信息生成逼真自然、符合期望的场景结构的图像，并通过 GIS 框架插入驾驶场景中的车辆、生成来自 Linemod 数据集的物体新视角，展示其能够广泛适用于新颖的场景、物体形状和分割，且可用于合成大量训练数据以训练实例分割模型。

    Sep, 2018