Jun, 2024

HouseCrafter：使用 2D 扩散模型将平面图提升为 3D 场景

PDF
TL;DRHouseCrafter 使用 2D 扩散模型生成与全景平面图一致的多视角 RGB-D 图像，从而重建高质量的 3D 室内场景。
housecrafter3d indoor scenergb-d imagesfloorplandiffusion model
发现论文，激发创造
  • Plan2Scene：将平面图转换为 3D 场景

    该论文介绍了 Plan2Scene 任务，旨在将一个住宅的平面图和一组相关的照片转换成有纹理的三维网格模型，解决了从一部分不对齐的照片中提取主要表面材质的挑战，并通过用户研究得出表现优异的结果。

    Jun, 2021

  • DreamCraft3D：基于推断扩散先验的分层三维生成

    DreamCraft3D 是一个层次化的 3D 内容生成方法，通过使用 2D 参考图像来引导几何雕刻和纹理增强的阶段，解决了现有方法遇到的一致性问题，使用得分蒸馏采样和视角相关的扩散模型来生成一致的几何体，并通过训练个性化的扩散模型来提高纹理质量，最终生成具有逼真渲染效果的连贯的 3D 对象。

    Oct, 2023

  • HouseDiffusion：通过离散和连续去噪扩散模型生成矢量平面图

    通过扩散模型生成向量楼层平面图是我们提出的新方法，使用 Transformer 架构和二维坐标的离散和连续去噪处理生成图形门窗等元素并在 RPLAN 数据集上得到了显著的改进

    Nov, 2022

  • 混合扩散用于 3D 室内场景合成

    MiDiffusion 是一种新的混合离散 - 连续扩散模型架构，用于根据房间类型、平面图和可能的预存在对象合成逼真的室内 3D 场景，相比于自回归模型和扩散模型，在楼层条件下的 3D 场景合成表现出明显的优势，并可通过破坏和遮蔽策略处理部分对象约束，无需专门训练。

    May, 2024

  • 计算设计中的扩散模型：以楼层平面图为例

    基于扩散模型的 AI 图像生成器近期广泛讨论，具备从简单文本提示中创建图像的能力。但是，在土木工程的实际应用中，它们需要能够根据给定的约束条件创建特定的施工计划。本文通过探索基于扩散的 AI 生成器在计算设计中的能力，以楼层平面图为例，辨识其目前的局限性。我们解释了扩散模型的工作原理，并提出了具备改进语义编码的新扩散模型。通过多个实验证明，我们可以将生成的楼层平面图的有效性从 6% 提高至 90%，并提高不同示例的查询性能。我们对这些模型的不足之处进行了辨识，并得出了未来的研究挑战，并讨论了将扩散模型与建筑信息模型相结合的需求。通过这些，我们提供了土木工程中扩散模型的当前状态和未来方向的关键见解。

    Jul, 2023

  • FloorNet: 三维扫描的平面图重建统一框架

    本研究旨在通过智能手机，利用深度神经网络技术重建室内地图，提出了线上勘测算法 FloorNet 核心思路，即将 RGBD 流图像数据分别经过三个大的神经网络模块来提取特征并同时考虑 3D 与 2D 空间信息，这种方法能够有效提高室内平面图的重建准确性。

    Mar, 2018

  • DiffRoom: 基于扩散的高质量三维房间重建与生成

    DiffRoom 提出了一种稀疏的 3D 扩散网络，它基于粗糙的占用先验和分层扩散学习结构，实现了高质量的 3D 室内重建和生成。

    Jun, 2023

  • Farm3D：通过 2D 扩散提取的方法学习关节化 3D 动物

    Farm3D 是一种方法，利用 2D 扩散型图像生成器的自由虚拟监督完全学习分解对象的类别特定的 3D 重构器。

    Apr, 2023

  • 对改进过的瑞士住宅数据集进行条件楼层平面生成的 HouseDiffusion 调适

    自动地板平面生成最近取得了重要的发展，本篇技术报告介绍了一种将 HouseDiffusion 模型扩展到 MSD 数据集的方法，包括修改模型的转换层以便条件化于一组墙线，并引入了预处理流程以从提供的建筑结构的二进制掩码中提取墙线。此外，发现将所有房间多边形简化为矩形会有更好的性能，这表明未来的研究应该探索更好的变长多边形在扩散模型中的表示方法。

    Dec, 2023

  • CAT3D: 利用多视角扩散模型创建三维任何物体

    用于高质量 3D 捕捉的 CAT3D 方法模拟实际捕捉过程中的多视图扩散模型，通过给定任意数量的输入图像和一组目标新视点，生成高度一致的场景新视图，可用作强大的 3D 重建技术的输入，以实时渲染任意视点的 3D 表示。CAT3D 在短短一分钟内就可以创建完整的 3D 场景，并优于现有的单张图片和少视图 3D 场景创建方法。

    May, 2024