May, 2024

具有潜在三维扩散的局部感知形状生成

PDF
TL;DR本文提出了一种新颖的潜在的 3D 扩散模型来生成神经体素场，旨在实现准确的部件感知结构。通过对现有方法的比较，我们采用了两个关键设计来确保高质量和准确的部件感知生成。一方面，我们引入了潜在的 3D 扩散过程来生成神经体素场，使其能够以显著更高的分辨率生成富有纹理和几何细节。另一方面，我们引入了部件感知的形状解码器，将部件代码整合到神经体素场中，引导准确的部件分解并产生高质量的渲染结果。通过广泛实验和与现有最先进方法的比较，我们对我们的方法在四种不同类别的数据上进行了评估。结果表明，我们提出的方法在部件感知形状生成方面具有优秀的生成能力，优于现有最先进方法。
latent 3d diffusion modelneural voxel fieldspart-aware structurespart codesgenerative capabilities
发现论文，激发创造
  • LN3Diff：可扩展的潜在神经场扩散用于高速 3D 生成

    LN3Diff 是一个新颖的框架，通过使用 3D 感知架构和变分自编码器将输入图像编码到结构化、紧凑和 3D 潜空间中，然后通过基于 Transformer 的解码器将潜空间解码为高容量的 3D 神经场，从而在 3D 生成、单目 3D 重建和有条件 3D 生成等各种数据集上展现出卓越的表现，并在推理速度方面超越了现有的 3D 扩散方法。

    Mar, 2024

  • 拓扑感知的潜在扩散用于 3D 形状生成

    我们介绍了一个新的生成模型，它将潜在扩散与持续同调相结合，以创建具有高多样性的 3D 形状，重点关注它们的拓扑特征。

    Jan, 2024

  • 使用三面体扩散生成 3D 神经场

    本研究提出了一种基于扩散模型的高效的神经场三维生成方法，通过将训练数据转换为连续占据场并将其分解为一组轴对齐的三面体特征表示来实现，训练过程中，采用现有的二维扩散模型对这些特征表示进行训练，生成高质量和多样性的三维神经场，且优于其他三维生成方法。

    Nov, 2022

  • 通过点 - 体素扩散生成和补全 3D 形状

    本文提出了一种新颖的概率生成建模方法，称为 Point-Voxel Diffusion（PVD），它是一个统一的、概率的公式，用于无条件的形状生成和多模态形状完成。PVD 将降噪扩散模型与 3D 形状的混合点 - 体素表示相结合，并通过优化变分下界来训练（条件）似然函数。实验证明了 PVD 的高保真度合成能力，以及从单视角深度扫描的真实对象中生成多个完成结果的能力。

    Apr, 2021

  • 神经场 LDM: 带有分层隐式扩散模型的场景生成

    提出了一种名为 NeuralField-LDM 的生成模型，它能够合成复杂的 3D 环境，并取得了比目前现有模型更显著的进步。该模型使用自动编码器训练场景图片，通过特征体素格点表示神经场，并进一步利用潜在自动编码器压缩、映射体素格点至潜在空间，并采用分层扩散模型完成 3D 场景生成管线。此外，展示了如何应用 NeuralField-LDM 在条件场景生成、场景修复和场景风格变化等 3D 内容创作应用领域。

    Apr, 2023

  • 基于局部注意力机制的 SDF 扩散模型用于可控的三维形状生成

    提出了一种基于扩散的 3D 形状生成框架，名为局部注意力 SDF 扩散，可通过 2D 草图图像输入建模可信的 3D 形状，实现局部控制性和模型普适性的提高。

    May, 2023

  • Diffusion-SDF: 基于体素扩散的文本到形状生成

    该论文提出了一种新的生成式 3D 建模框架 ——Diffusion-SDF，通过使用 SDF 自编码器和 Voxelized Diffusion 模型，能够根据指定的文本描述生成高质量和高度多样化的 3D 形状，其中还包括文本条件下的形状补全和操作。

    Dec, 2022

  • 神经点云扩散用于解耦的 3D 形状和外观生成

    在电影、游戏、工程以及增强 / 虚拟现实等多种实际应用中，可控地生成 3D 资产具有重要意义。最近，扩散模型在生成 3D 对象的质量方面取得了显著的成果。然而，现有模型中没有一个能够实现对形状和外观的分离生成。我们首次提出了一种适用于 3D 扩散模型的合适表示方法，通过引入混合的点云和神经辐射场方法实现了这种分离，模拟了点位置的扩散过程，并结合高维特征空间的局部密度和亮度解码器。点位置表示对象的粗略形状，而点特征则允许对几何形状和外观细节进行建模。这种分离使得我们能够独立地对二者进行采样和控制。与之前的分离能力方法相比，我们的方法在生成方面达到了新的技术水平，降低了 30-90% 的 FID 分数，并且与其他非分离能力的最先进方法处于同一水平。

    Dec, 2023

  • 3DQD: 基于部分离散扩散过程的通用深度三维形状先验

    本篇论文提出了一个通用的 3D 形状模型生成模型，采用向量量化变分自编码器、离散扩散生成器和多频率融合模块等技术，实现了高保真度、多样性以及跨模态对齐等功能，能够应用在点云补全和多种 3D 形状生成任务中，实验证明其在各种任务中都表现出较高的性能。

    Mar, 2023

  • 自动解码潜在的三维扩散模型

    本文提出了一种新颖的生成静态和关节 3D 资产的方法，其中核心是一个 3D 自解码器框架，将目标数据集中学习到的属性嵌入潜在空间，然后通过解码来渲染具有一致性的外观和几何体积表示；在不需要摄像头信息的情况下，通过学习来进行更加高效的训练，实现了在各种基准数据集和指标上超越同类别替代方法的影响力。

    Jul, 2023