Ctrl-Room 通过使用文本提示生成具有设计风格布局和高保真纹理的令人信服的 3D 室内空间，并提供灵活的交互式编辑操作。通过分离布局和外观建模，并使用文本条件扩散模型和控制网络，我们能够轻松地编辑生成的房间模型，而不需要昂贵的编辑特定培训。在 Structured3D 数据集上的实验证明，我们的方法在从自然语言提示生成更合理、视觉一致和可编辑的 3D 房间方面优于现有方法。

Oct, 2023

本文提出了基于自然语言的房间风格合成算法 RoomDreamer，通过 Geometry Guided Diffusion 和 Mesh Optimization 处理实现 3D 室内场景生成，大幅提升了几何和纹理的一致性和图像质量。

May, 2023

我们提出了一个不依赖于典型框近似或曼哈顿世界假设的房间布局估计方法，将几何推断问题重新定义为实例检测任务，通过使用 R-CNN 直接回归 3D 平面来解决该问题，然后使用一种概率聚类的变体来结合每个视频序列中的每帧回归的 3D 平面及其相应的相机姿态，并得到一个单个的全局 3D 房间布局估计结果；最后，我们展示了在不假设垂直对准的情况下处理任何对齐的墙壁的结果。

May, 2019

我们介绍了 ShowRoom3D，这是一种从文本生成高质量的 3D 房间场景的三阶段方法。我们利用 3D 扩散先验 MVDiffusion 优化 3D 房间场景，并通过逐步扩展相机采样范围的渐进式视角选择和第二阶段的姿态变换方法，实现改善结构完整性、从任意视角提高清晰度、减少内容重复性和不同视角的一致性，显著超越了现有方法。

Dec, 2023

本文介绍了一种名为 Coin3D 的新型可控交互式 3D 资产建模框架，该框架允许用户利用从基本形状组装而成的粗粒度几何代理控制 3D 生成，并引入交互式生成工作流，以支持在几秒钟内快速交互编辑本地部分，并提供快速响应的 3D 对象预览。通过对不同形状代理进行交互生成和编辑的广泛实验，证明了我们的方法在 3D 资产生成任务中具有优越的可控性和灵活性。

May, 2024

本文介绍了一个名为 3D-FRONT（带有布局和语义的三维家具房间）的新型、大规模、综合性的人造室内场景存储库，其中包含大量房间和高品质纹理三维模型。该数据集可以自由提供给学术界和其他领域使用。我们还发布了轻型渲染工具 Trescope，以支持从 3D-FRONT 进行 2D 图像和注释的基准渲染。

Nov, 2020

DiffRoom 提出了一种稀疏的 3D 扩散网络，它基于粗糙的占用先验和分层扩散学习结构，实现了高质量的 3D 室内重建和生成。

Jun, 2023

通过 DreamControl 的两阶段 2D-lifting 框架，实现了在 3D 生成中解决几何不一致性的 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。

Dec, 2023

本文提出一种解决单视角条件下房间（墙壁，地板，天花板）的三维布局重建问题的新方法，使用离群点检测和优化方法，在处理布局中的遮挡时提高了重建的准确性，同时创建了扫描网数据集以便对方法进行数量化评价。

Jan, 2020

大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

Nov, 2023