Oct, 2023

Ctrl-Room: 可控文本到三维房间网格生成与布局约束

PDF
TL;DRCtrl-Room 通过使用文本提示生成具有设计风格布局和高保真纹理的令人信服的 3D 室内空间，并提供灵活的交互式编辑操作。通过分离布局和外观建模，并使用文本条件扩散模型和控制网络，我们能够轻松地编辑生成的房间模型，而不需要昂贵的编辑特定培训。在 Structured3D 数据集上的实验证明，我们的方法在从自然语言提示生成更合理、视觉一致和可编辑的 3D 房间方面优于现有方法。
text-driven 3d indoor scene generationctrl-roomroom layoutinteractive editingtext-conditional diffusion model
发现论文，激发创造
  • ControlRoom3D: 使用语义代理房间生成房间

    通过以用户定义的三维语义代理房间为中心，结合二维模型生成三维一致的纹理和几何体，实现高质量房间网格的生成，从而使用户能够轻松设计三维房间，无需专业知识。

    Dec, 2023

  • Control3D：面向可控的文本到 3D 生成

    大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

    Nov, 2023

  • RoomDreamer: 基于文本驱动的连贯几何纹理室内场景 3D 合成

    本文提出了基于自然语言的房间风格合成算法 RoomDreamer，通过 Geometry Guided Diffusion 和 Mesh Optimization 处理实现 3D 室内场景生成，大幅提升了几何和纹理的一致性和图像质量。

    May, 2023

  • ShowRoom3D: 使用三维先验生成高质量的三维房间

    我们介绍了 ShowRoom3D，这是一种从文本生成高质量的 3D 房间场景的三阶段方法。我们利用 3D 扩散先验 MVDiffusion 优化 3D 房间场景，并通过逐步扩展相机采样范围的渐进式视角选择和第二阶段的姿态变换方法，实现改善结构完整性、从任意视角提高清晰度、减少内容重复性和不同视角的一致性，显著超越了现有方法。

    Dec, 2023

  • MaGRITTe: 图像、鸟瞰与文本的操控和生成 3D 实现

    使用部分图像、顶视图的布局信息和文本提示来控制和生成多模态条件下的 3D 场景，通过预训练的文本到图像模型微调，以及布局条件的深度估计和神经辐射场（NeRF），实现从给定条件生成 2D 图像和从 2D 图像生成 3D 场景，避免创建庞大的数据集，得到了定性和定量的实验结果，证明了该方法能够根据多模态条件生成多领域的 3D 场景。

    Mar, 2024

  • DreamControl: 基于控制的文本到 3D 生成与 3D 自先

    通过 DreamControl 的两阶段 2D-lifting 框架，实现了在 3D 生成中解决几何不一致性的 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。

    Dec, 2023

  • RoomTex: 室内场景的组合纹理生成与修复

    提出了名为 RoomTex 的粗糙到精细的三维场景纹理框架，用于生成高保真度和样式一致的纹理，以应对复合场景网格的纹理问题。

    Jun, 2024

  • 清醒梦：可控的物体中心三维生成

    通过最新的生成模型，提出了一种名为 LucidDreaming 的有效管道，能够对 3D 生成进行精细控制，只需要最少的 3D 边界框输入，可以通过简单的文本提示使用大型语言模型推断，通过渲染和优化对象实现对象的分开生成，与基准方法相比，实现了更高水平的 3D 内容对齐，并提供了一个带有 3D 边界框的数据集，用于评估 3D 空间可控性。

    Nov, 2023

  • 超越想象：生成无限制的三维房间布局

    我们提出了一个不依赖于典型框近似或曼哈顿世界假设的房间布局估计方法，将几何推断问题重新定义为实例检测任务，通过使用 R-CNN 直接回归 3D 平面来解决该问题，然后使用一种概率聚类的变体来结合每个视频序列中的每帧回归的 3D 平面及其相应的相机姿态，并得到一个单个的全局 3D 房间布局估计结果；最后，我们展示了在不假设垂直对准的情况下处理任何对齐的墙壁的结果。

    May, 2019

  • 3D-SceneDreamer: 文本驱动的 3D 一致场景生成

    利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

    Mar, 2024