May, 2024

具有潜在三维扩散的局部感知形状生成

HTML
PDF
TL;DR本文提出了一种新颖的潜在的3D扩散模型来生成神经体素场，旨在实现准确的部件感知结构。通过对现有方法的比较，我们采用了两个关键设计来确保高质量和准确的部件感知生成。一方面，我们引入了潜在的3D扩散过程来生成神经体素场，使其能够以显著更高的分辨率生成富有纹理和几何细节。另一方面，我们引入了部件感知的形状解码器，将部件代码整合到神经体素场中，引导准确的部件分解并产生高质量的渲染结果。通过广泛实验和与现有最先进方法的比较，我们对我们的方法在四种不同类别的数据上进行了评估。结果表明，我们提出的方法在部件感知形状生成方面具有优秀的生成能力，优于现有最先进方法。
发现论文，激发创造
  • 通过点 - 体素扩散生成和补全 3D 形状

    本文提出了一种新颖的概率生成建模方法，称为Point-Voxel Diffusion（PVD），它是一个统一的、概率的公式，用于无条件的形状生成和多模态形状完成。PVD将降噪扩散模型与3D形状的混合点-体素表示相结合，并通过优化变分下界来训练（条件）似然函数。实验证明了PVD的高保真度合成能力，以及从单视角深度扫描的真实对象中生成多个完成结果的能力。

    Apr, 2021

  • 使用三面体扩散生成3D神经场

    本研究提出了一种基于扩散模型的高效的神经场三维生成方法，通过将训练数据转换为连续占据场并将其分解为一组轴对齐的三面体特征表示来实现，训练过程中，采用现有的二维扩散模型对这些特征表示进行训练，生成高质量和多样性的三维神经场，且优于其他三维生成方法。

    Nov, 2022

  • 神经小波扩散用于3D形状生成、反转和操作

    本文提出了一种基于连续小波嵌入式表示的3D形状生成、反演、操纵方法，包括紧凑的小波表示、扩散生成器、细节预测器、编码器等，实现了较为强大的形状生成、反演、操纵能力，优于现有的最新方法。

    Feb, 2023

  • 神经场 LDM: 带有分层隐式扩散模型的场景生成

    提出了一种名为 NeuralField-LDM 的生成模型，它能够合成复杂的 3D 环境，并取得了比目前现有模型更显著的进步。该模型使用自动编码器训练场景图片，通过特征体素格点表示神经场，并进一步利用潜在自动编码器压缩、映射体素格点至潜在空间，并采用分层扩散模型完成 3D 场景生成管线。此外，展示了如何应用 NeuralField-LDM 在条件场景生成、场景修复和场景风格变化等 3D 内容创作应用领域。

    Apr, 2023

  • 基于局部注意力机制的SDF扩散模型用于可控的三维形状生成

    提出了一种基于扩散的3D形状生成框架，名为局部注意力SDF扩散，可通过2D草图图像输入建模可信的3D形状，实现局部控制性和模型普适性的提高。

    May, 2023

  • 纹理生成的单网格扩散模型和场隐变量

    我们介绍了一种在3D形状表面上直接操作的基于内在隐性扩散模型的框架，旨在合成高质量的纹理。通过对网格顶点上的离散矢量场编码纹理的隐式表示和学习在表面上的学习隐空间中去噪扩散过程的隐性扩散模型，我们的方法具有两个贡献。我们考虑了一种单一纹理网格范式，其中我们的模型被训练为在网格上生成给定纹理的变化。我们展示了合成的纹理与现有的单一纹理网格生成模型相比，具有较高的保真度。我们的模型还可以用于用户控制的编辑任务，例如修复缺失和标签引导的生成。我们提出的框架具有在等价变换下的等变性，这部分有助于我们方法的有效性，使我们的模型能够在局部相似区域之间无缝复现细节，并打开了生成纹理迁移的可能性。

    Dec, 2023

  • 多元部分合成用于3D形状创建

    采用神经网络合成三维形状的方法中引入了基于部件表示的方法，在过去几年中已经出现。然而，当前方法不容易根据用户的偏好重新生成单个形状部件。本文研究了允许用户生成多个多样化部件建议的技术，特别是实验了先前的形状合成工作中未考虑的多模态深度生成模型。通过在基于部件表示的合成方法中评估这些技术，我们提供了一种比较研究。我们的贡献是定性和定量评估表明，哪种新的多模态部件生成技术表现最佳，并且基于表现最佳技术的合成方法在重构形状时可以更好地控制所生成的三维形状的部件，同时保持高形状保真度。

    Jan, 2024

  • 拓扑感知的潜在扩散用于3D形状生成

    我们介绍了一个新的生成模型，它将潜在扩散与持续同调相结合，以创建具有高多样性的3D形状，重点关注它们的拓扑特征。

    Jan, 2024

  • LN3Diff：可扩展的潜在神经场扩散用于高速3D生成

    LN3Diff是一个新颖的框架，通过使用3D感知架构和变分自编码器将输入图像编码到结构化、紧凑和3D潜空间中，然后通过基于Transformer的解码器将潜空间解码为高容量的3D神经场，从而在3D生成、单目3D重建和有条件3D生成等各种数据集上展现出卓越的表现，并在推理速度方面超越了现有的3D扩散方法。

    Mar, 2024

  • 基于双向 SSM 的扩散曼巴高效三维形状生成

    为了解决传统attention机制在高分辨率三维形状生成中的可扩展性问题，我们引入了一种新颖的基于Mamba架构的扩散生成模型（DiM-3D），通过利用Mamba架构的高效性和线性复杂度，DiM-3D在维持线性复杂度的同时实现了快速推理时间和大大降低的计算需求，并在ShapeNet基准测试上实验结果证明其在生成高保真度和多样性的三维形状方面表现出卓越性能。

    Jun, 2024