Dec, 2023

神经点云扩散用于解耦的 3D 形状和外观生成

PDF
TL;DR在电影、游戏、工程以及增强 / 虚拟现实等多种实际应用中，可控地生成 3D 资产具有重要意义。最近，扩散模型在生成 3D 对象的质量方面取得了显著的成果。然而，现有模型中没有一个能够实现对形状和外观的分离生成。我们首次提出了一种适用于 3D 扩散模型的合适表示方法，通过引入混合的点云和神经辐射场方法实现了这种分离，模拟了点位置的扩散过程，并结合高维特征空间的局部密度和亮度解码器。点位置表示对象的粗略形状，而点特征则允许对几何形状和外观细节进行建模。这种分离使得我们能够独立地对二者进行采样和控制。与之前的分离能力方法相比，我们的方法在生成方面达到了新的技术水平，降低了 30-90% 的 FID 分数，并且与其他非分离能力的最先进方法处于同一水平。
发现论文，激发创造
  • 使用三面体扩散生成 3D 神经场

    本研究提出了一种基于扩散模型的高效的神经场三维生成方法，通过将训练数据转换为连续占据场并将其分解为一组轴对齐的三面体特征表示来实现，训练过程中，采用现有的二维扩散模型对这些特征表示进行训练，生成高质量和多样性的三维神经场，且优于其他三维生成方法。

    Nov, 2022

  • 具有潜在三维扩散的局部感知形状生成

    本文提出了一种新颖的潜在的 3D 扩散模型来生成神经体素场，旨在实现准确的部件感知结构。通过对现有方法的比较，我们采用了两个关键设计来确保高质量和准确的部件感知生成。一方面，我们引入了潜在的 3D 扩散过程来生成神经体素场，使其能够以显著更高的分辨率生成富有纹理和几何细节。另一方面，我们引入了部件感知的形状解码器，将部件代码整合到神经体素场中，引导准确的部件分解并产生高质量的渲染结果。通过广泛实验和与现有最先进方法的比较，我们对我们的方法在四种不同类别的数据上进行了评估。结果表明，我们提出的方法在部件感知形状生成方面具有优秀的生成能力，优于现有最先进方法。

    May, 2024

  • 利用生成重绘为 3D 资产注入新生命

    基于扩散的文本到图像模型引起了视觉社区、艺术家和内容创作者的极大关注。通过将预训练的 2D 扩散模型和标准的 3D 神经辐射场作为独立的工具结合起来，我们展示了它们在非学习的方式上相互配合的能力。

    Sep, 2023

  • 3D 点云生成的扩散概率模型

    本文提出了一个概率模型，将点云看作是处于非平衡热力学系统内的粒子，并通过扩散过程学习将噪声分布转换为所需形状分布的逆扩散过程，即点云生成过程。具体地，将点云的逆扩散过程建模为一个以某个形状因子为条件的马尔科夫链，并提供了闭合形式的变分下界以进行训练。实验结果显示，该模型在点云生成和自编码方面具有竞争性能。

    Mar, 2021

  • 基于局部注意力机制的 SDF 扩散模型用于可控的三维形状生成

    提出了一种基于扩散的 3D 形状生成框架，名为局部注意力 SDF 扩散，可通过 2D 草图图像输入建模可信的 3D 形状，实现局部控制性和模型普适性的提高。

    May, 2023

  • ShapeFusion：一种用于局部形状编辑的 3D 扩散模型

    在 3D 计算机视觉领域，参数化模型已成为创造逼真和富有表现力的 3D 头像的突破性方法论。本文利用扩散模型，在完全保留未编辑区域的同时，实现了对 3D 网格的多样化和完全局部化的编辑操作。与现有技术相比，我们的方法在形状操作方面更具可解释性，具有更大的局部化和生成多样性，并且推理速度更快。

    Mar, 2024

  • 基于图像渲染的去噪传播

    通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

    Feb, 2024

  • 稀疏潜点扩散模型控制的带限网格生成

    通过设计一种新颖的稀疏潜点扩散模型，将点云作为中间表示建模并控制生成的网格的整体结构和局部细节，以提高效率和可控性，实现了在生成质量和可控性方面与现有方法相比优越的网格生成。

    Mar, 2023

  • 通过点 - 体素扩散生成和补全 3D 形状

    本文提出了一种新颖的概率生成建模方法，称为 Point-Voxel Diffusion（PVD），它是一个统一的、概率的公式，用于无条件的形状生成和多模态形状完成。PVD 将降噪扩散模型与 3D 形状的混合点 - 体素表示相结合，并通过优化变分下界来训练（条件）似然函数。实验证明了 PVD 的高保真度合成能力，以及从单视角深度扫描的真实对象中生成多个完成结果的能力。

    Apr, 2021

  • BuilDiff: 单视角条件下的三维建筑形状生成

    利用图片条件模型扩散点云模型的新型三维建筑生成方法，在保持整体结构同时综合生成建筑顶部结构，实验证明该方法在建筑生成质量方面优于之前的研究。

    Aug, 2023