Nov, 2023

GraphDreamer: 从场景图生成组合式三维场景合成

PDF
TL;DR通过使用场景图生成组成 3D 场景的图形图像扩散预训练模型，利用节点和边的信息，GraphDreamer 能够生成高保真的分解对象实体的组合性 3D 场景。
pretrained text-to-image diffusion modelstext-guided 3d modelholistic 3d modelinggraphdreamercompositional 3d scenes
发现论文，激发创造
  • 使用场景图进行 3D 场景扩散引导

    使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023

  • 图形到三维：使用场景图端到端生成和操作三维场景

    这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D 形状和场景布局进行 VAE 训练，从而支持场景生成和修改。

    Aug, 2021

  • 基於預訓練多視圖擴散模型的扎實可組件化且多樣性的文本至三維

    本文提出了一种名为 Grounded-Dreamer 的有效两阶段方法，通过使用预训练的多视角扩散模型，在准确遵循复杂的、构成性的文本提示的同时实现高保真度，生成能够准确遵循复杂、构成性文本提示的 3D 资产。

    Apr, 2024

  • RoomDreamer: 基于文本驱动的连贯几何纹理室内场景 3D 合成

    本文提出了基于自然语言的房间风格合成算法 RoomDreamer，通过 Geometry Guided Diffusion 和 Mesh Optimization 处理实现 3D 室内场景生成，大幅提升了几何和纹理的一致性和图像质量。

    May, 2023

  • MetaDreamer：高效文本生成三维模型的几何和纹理分离

    MetaDreammer 是一种基于 2D 和 3D 先验知识的两阶段优化方法，通过在优化过程中分别使用 2D 和 3D 先验知识，有效减轻几何与纹理之间的相互依赖，从而在 3D 生成过程中节省时间并生成高质量的 3D 对象。与现有技术相比，MetaDreammer 是一种高效的文本到 3D 生成方法，并且还引入了图像控制来增强对 3D 生成过程的可控性。

    Nov, 2023

  • 3D-SceneDreamer: 文本驱动的 3D 一致场景生成

    利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

    Mar, 2024

  • CityDreamer: 无界三维城市的组合生成模型

    提出了 CityDreamer，一种针对无限制 3D 城市的组合生成模型，通过将建筑实例的生成与其他背景对象（如道路、绿地和水域）分离为不同模块来解决生成 3D 城市时面临的挑战，并构建了 OSM 和 GoogleEarth 两个数据集以增强所生成的 3D 城市的布局和外观的真实性，通过广泛的实验证明了 CityDreamer 在生成各种逼真的 3D 城市方面的优越性。

    Sep, 2023

  • 通过场景图引导的布局形状生成进行构成性 3D 场景合成

    从场景图生成逼真合理的三维场景，利用大型语言模型显式汇总全局图特征和局部关系特征，通过统一的图卷积网络从更新的场景图中提取图特征，并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试，我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。

    Mar, 2024

  • 亮梦想者：通用的 3D 高斯生成框架用于快速文本到 3D 合成

    BrightDreamer 是一种端到端的单阶段方法，可以实现通用且快速（77 毫秒）的文本到 3D 生成，通过估算 3D 变形、形状基准位置和各种属性来生成百万个 3D Gaussian。

    Mar, 2024

  • HyperDreamer: 由单张图像生成和编辑逼真的三维内容

    HyperDreamer 是一个可视化、可渲染和可编辑的 3D 内容创建工具，通过 360 度网格建模、高分辨率纹理和语义分割等技术，能够从单张图片中生成逼真的 3D 模型，并支持用户友好的编辑操作。

    Dec, 2023