CVPRMar, 2024

SemCity: 带三层扩散的语义场景生成

PDF
TL;DR我们提出了一种用于在现实世界的室外环境中生成语义场景的 3D 扩散模型 “SemCity”。通过在现实世界的室外数据集上学习扩散模型，我们集中于生成真实室外场景。我们利用三面板表示作为我们扩散模型要学习的场景分布的代理形式，并提出了与我们的三面板扩散模型无缝集成的三面板操作。我们的实验结果表明，与现有的工作相比，我们的三面板扩散模型在真实室外数据集 SemanticKITTI 中展示了有意义的生成结果。同时，我们的三面板操作使得能够在场景中添加、删除或修改对象，并且还能将场景扩展到城市级别。最后，我们通过学习场景分布，评估我们的方法在语义场景补全的完善上的作用。
3d diffusion modelsemantic scene generationoutdoor environmentstriplane representationscene inpainting
发现论文，激发创造
  • 语义占用地图中的城市场景扩散

    利用 Bird's-Eye View 地图条件的 3D 扩散模型 UrbanDiffusion 生成具有几何和语义的城市场景，并通过训练实际驾驶数据集，该模型能够生成多样性的城市场景，进一步将生成的场景扩展到任意规模，并通过预训练的图像生成器实现场景图像合成的应用。

    Mar, 2024

  • Sat2Scene: 基于扩散的卫星图像三维城市场景生成

    利用扩散模型与神经渲染技术，提出了一种新颖的直接生成三维场景的方法，该方法能够从卫星图像中生成逼真的街景图像序列和跨视角城市场景。

    Jan, 2024

  • 使用三面体扩散生成 3D 神经场

    本研究提出了一种基于扩散模型的高效的神经场三维生成方法，通过将训练数据转换为连续占据场并将其分解为一组轴对齐的三面体特征表示来实现，训练过程中，采用现有的二维扩散模型对这些特征表示进行训练，生成高质量和多样性的三维神经场，且优于其他三维生成方法。

    Nov, 2022

  • 混合扩散用于 3D 室内场景合成

    MiDiffusion 是一种新的混合离散 - 连续扩散模型架构，用于根据房间类型、平面图和可能的预存在对象合成逼真的室内 3D 场景，相比于自回归模型和扩散模型，在楼层条件下的 3D 场景合成表现出明显的优势，并可通过破坏和遮蔽策略处理部分对象约束，无需专门训练。

    May, 2024

  • Sin3DM: 从单个 3D 纹理形状学习扩散模型

    Sin3DM 是一种学习来自单个 3D 纹理形状的内部图案分布的扩散模型，该模型通过压缩输入到低维潜在空间来降低内存和计算成本，然后通过 Triplan 感知 2D 卷积块来训练模型，可以生成较高质量的 3D 形状，还可以用于重定位，外表绘画和局部编辑。

    May, 2023

  • 场景尺度三维类别数据的扩散概率模型

    本文提出了一种扩展离散扩散模型的方法，用于生成 3D 场景，并在场景级别上使用分类分布来指定多个对象。同时，使用潜在扩散模型可以降低训练和部署的计算成本。作者还使用该模型进行了场景完成的任务，并在实验中证明了该模型生成的场景的合理性和任务完成的优越性。

    Jan, 2023

  • 基于扩散的 3D 场景生成、优化和规划

    SceneDiffuser 是一个用于 3D 场景理解的条件生成模型，通过扩散过程，联合制定了场景感知生成、基于物理的优化和面向目标的规划模块，相对于之前的模型，具有内在的场景感知、基于物理的设计器和面向目标的设计等优点，在人体姿态和运动生成、灵巧握持生成、三维导航路径规划和机器人臂运动规划等任务上表现了极大的潜力。

    Jan, 2023

  • 大词汇量三维扩散模型与变压器

    使用三平面的三维感知扩散模型与 Transformer 架构，通过改善三维表示、处理几何和纹理的巨大变化、增强复杂对象的三维知识，提出一个能生成大量多样性、丰富语义以及高质量的真实世界三维对象的单一 DiffTF 模型，该模型在 ShapeNet 和 OmniObject3D 的广泛实验中表现出最先进的大量词汇三维对象生成性能。

    Sep, 2023

  • BlockFusion：基于潜在的三平面外推的可扩展三维场景生成

    BlockFusion 是一种扩展三维场景的扩散模型，通过三维场景网格的剪裁和特征提取，在潜在三平面空间中进行扩散操作，从而生成高质量、多样化的三维场景。

    Jan, 2024

  • Frankenstein：在一台三平面机器上生成语义组合的 3D 场景

    Frankenstein 是一个基于扩散的框架，可以在单次传递中生成语义组合的三维场景。与现有方法不同，Frankenstein 同时生成多个分离的形状，每个形状对应于一个语义上有意义的部分。生成的场景可以用三元面张量编码，从中可以解码出多个有组合性的物体形状。Frankenstein 在生成房间内部以及带有自动分离部分的人体角色方面展示了良好的结果。生成的场景可以用于许多下游应用，如部分纹理重建、房间内物体重新摆放或角色服装重新定位。

    Mar, 2024