Jan, 2023

场景尺度三维类别数据的扩散概率模型

PDF
TL;DR本文提出了一种扩展离散扩散模型的方法，用于生成 3D 场景，并在场景级别上使用分类分布来指定多个对象。同时，使用潜在扩散模型可以降低训练和部署的计算成本。作者还使用该模型进行了场景完成的任务，并在实验中证明了该模型生成的场景的合理性和任务完成的优越性。
diffusion model3d datascene-scalecategorical distributionsemantic scene completion
发现论文，激发创造
  • Diffusion-SS3D：半监督三维物体检测的扩散模型

    通过扩散模型来提高伪标签的质量，以实现半监督三维物体检测，改进了现有方法的性能，获得了最先进的结果。

    Dec, 2023

  • 混合扩散用于 3D 室内场景合成

    MiDiffusion 是一种新的混合离散 - 连续扩散模型架构，用于根据房间类型、平面图和可能的预存在对象合成逼真的室内 3D 场景，相比于自回归模型和扩散模型，在楼层条件下的 3D 场景合成表现出明显的优势，并可通过破坏和遮蔽策略处理部分对象约束，无需专门训练。

    May, 2024

  • 实现实际 3D LiDAR 场景补全的扩展扩散模型

    使用扩散模型方法在单个 3D LiDAR 扫描中完成场景实现了比最先进的完成场景方法更多细节的场景，为扩散模型应用于场景规模点云数据的进一步研究提供了支持。

    Mar, 2024

  • 基于扩散的 3D 场景生成、优化和规划

    SceneDiffuser 是一个用于 3D 场景理解的条件生成模型，通过扩散过程，联合制定了场景感知生成、基于物理的优化和面向目标的规划模块，相对于之前的模型，具有内在的场景感知、基于物理的设计器和面向目标的设计等优点，在人体姿态和运动生成、灵巧握持生成、三维导航路径规划和机器人臂运动规划等任务上表现了极大的潜力。

    Jan, 2023

  • 通过扩散模型联合生成场景图和图像

    本文介绍了一项新的生成任务：联合场景图像生成。通过引入 DiffuseSG 模型，本文探索了生成逼真的场景图，使得图像生成具备高效和可解释性的控制能力，并展示了该模型在场景图生成以及相关应用中的优越性。

    Jan, 2024

  • 用潜在扩散模型在几秒钟内对 3D 高斯场景进行采样

    我们提出了一个通过 2D 图像数据训练的 3D 场景潜在扩散模型，首先设计了一个将多视图图像映射到 3D 高斯斑点并在同时构建这些斑点的压缩潜在表示的自编码器，然后在潜在空间上培训多视图扩散模型，以学习一种高效的生成模型。该方法不需要对象掩码或深度信息，适用于具有任意相机位置的复杂场景。我们在两个大规模复杂真实世界场景数据集 MVImgNet 和 RealEstate10K 上进行了仔细实验。与非潜在扩散模型和早期 NeRF-based 生成模型相比，我们的方法无论是从头开始，从单个输入视图开始还是从稀疏输入视图开始，都能在 0.2 秒内生成 3D 场景，并产生多样且高质量的结果，速度提高了一个数量级。

    Jun, 2024

  • 使用场景图进行 3D 场景扩散引导

    使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023

  • SC-Diff：使用潜在扩散模型进行三维形状补全

    本文介绍了一种基于 3D 潜在扩散模型的 3D 形状补全方法，该方法通过交叉注意力和空间特征整合实现以图像为基础的条件和以 3D 特征为基础的条件，以高分辨率、真实感的方式完成形状补全。

    Mar, 2024

  • DORSal: 基于扩散的场景对象中心表征

    本文通过引入扩散模型，提出了一种基于对象中心槽的 3D 场景生成框架 DORSal，具有良好的渲染效果和对象级别的场景编辑功能。

    Jun, 2023

  • 金字塔扩散用于精细化的 3D 大场景生成

    本文提出了金字塔离散扩散（PDD）模型，通过采用逐层生成的粗到精的多尺度模型，能够在资源限制下生成高质量的 3D 场景，而不需要额外的数据源。在无条件和有条件生成方面的实验表明，该模型在生成逼真而详细的 3D 场景方面表现出了很好的效果和鲁棒性。我们的代码将向公众开放。

    Nov, 2023