Nov, 2023

FrePolad：频率修正的点隐性扩散用于点云生成

PDF
TL;DR提出了 FrePolad：一种整合变分自编码器 (VAE) 和去噪扩散概率模型 (DDPM) 用于点云生成的频率校正点潜扩散的流水线，它在保持高效计算的同时实现了生成任务中的高质量、多样性和灵活性，通过 (1) 通过球谐函数设计的新型频率校正模块来保留高频内容，从而学习点云分布；和 (2) 学习正则化但复杂的潜在分布的潜在 DDPM；此外，FrePolad 通过将点的采样归结为潜在形状分布上的条件分布来支持可变的点云基数；最后，由 VAE 编码的低维潜在空间有助于 FrePolad 的快速和可扩展的采样。我们的定量和定性结果证明了 FrePolad 在质量、多样性和计算效率方面的最先进性能。
发现论文，激发创造
  • 使用简单编辑的频率调制点云渲染

    本文提出了一种适用于新视角合成的有效的点云渲染管道，其中包括自适应频率调制模块，用以提供更丰富的频率支持并改善网络性能，并支持高保真度交互式编辑。实验结果也表明本方法在性能表现方面优于现有最先进技术。

    Mar, 2023

  • 通过点 - 体素扩散生成和补全 3D 形状

    本文提出了一种新颖的概率生成建模方法，称为 Point-Voxel Diffusion（PVD），它是一个统一的、概率的公式，用于无条件的形状生成和多模态形状完成。PVD 将降噪扩散模型与 3D 形状的混合点 - 体素表示相结合，并通过优化变分下界来训练（条件）似然函数。实验证明了 PVD 的高保真度合成能力，以及从单视角深度扫描的真实对象中生成多个完成结果的能力。

    Apr, 2021

  • 3D 点云生成的扩散概率模型

    本文提出了一个概率模型，将点云看作是处于非平衡热力学系统内的粒子，并通过扩散过程学习将噪声分布转换为所需形状分布的逆扩散过程，即点云生成过程。具体地，将点云的逆扩散过程建模为一个以某个形状因子为条件的马尔科夫链，并提供了闭合形式的变分下界以进行训练。实验结果显示，该模型在点云生成和自编码方面具有竞争性能。

    Mar, 2021

  • 一种基于条件去噪扩散概率模型的点云上采样方法

    本研究提出了一种基于条件去噪扩散概率模型（DDPM）的点云上采样方法，称为 PUDM。PUDM 通过对稀疏点云进行条件建模，学习了稠密点云和噪声之间的转换关系，并利用双映射范式提高点特征的辨别力。此外，PUDM 还通过参数化速率因子，在训练过程中利用稀疏点云和稠密点云之间的比例关系生成高质量的任意尺度点云，实验结果表明其具有较强的噪声鲁棒性，相比现有方法，在 Chamfer 距离和 Hausdorff 距离上取得了最先进的性能。

    Dec, 2023

  • 投影潜空间中的视频概率扩散模型

    提出了一种名为投影潜空间扩散模型（PVDM）的新型生成模型，该模型在低维潜空间中学习视频分布，通过自编码器将视频投影为二维形状的潜变量，使用专用于新因式潜空间的扩散模型架构和训练 / 采样程序，能够高效地训练和合成任意长度的视频。实验表明与以前的视频生成方法相比，PVDM 在 FVD 评估指标上获得了最高的得分。

    Feb, 2023

  • 稀疏潜点扩散模型控制的带限网格生成

    通过设计一种新颖的稀疏潜点扩散模型，将点云作为中间表示建模并控制生成的网格的整体结构和局部细节，以提高效率和可控性，实现了在生成质量和可控性方面与现有方法相比优越的网格生成。

    Mar, 2023

  • 3DQD: 基于部分离散扩散过程的通用深度三维形状先验

    本篇论文提出了一个通用的 3D 形状模型生成模型，采用向量量化变分自编码器、离散扩散生成器和多频率融合模块等技术，实现了高保真度、多样性以及跨模态对齐等功能，能够应用在点云补全和多种 3D 形状生成任务中，实验证明其在各种任务中都表现出较高的性能。

    Mar, 2023

  • 一种基于条件点扩散细化的三维点云完整性修复范式

    本文提出了一种基于点扩散和精化的点云补全范式，其中条件生成网络使用去噪扩散概率模型生成粗糙补全， 精修网络进一步改进完成后的点云的质量，并开发了一个新的双向路径架构。 这种架构既能从部分观察到的点云中有效地提取多级特征以指导补全，也能准确地操纵三维点的空间位置以获得光滑的表面和清晰的细节。通过广泛的实验，证明了本文提出的方法在点云完成方面优于以往的最先进方法。值得注意的是，在精细网络的帮助下，我们可以将 DDPM 的迭代生成过程加速 50 倍，而不会影响其性能。

    Dec, 2021

  • 固定点扩散模型

    我们介绍了一种新颖的方法 ——Fixed Point Diffusion Model（FPDM），它将固定点求解的概念融入了基于扩散的生成模型框架中。通过将隐式固定点求解层嵌入到扩散模型的去噪网络中，我们的方法将扩散过程转化为一系列紧密相关的固定点问题。结合新的随机训练方法，这种方法显著减小了模型大小，降低了内存使用量，并加快了训练速度。此外，它还提供了两种新技术来提高采样效率：在时间步长之间重新分配计算和重用固定点解。我们在 ImageNet、FFHQ、CelebA-HQ 和 LSUN-Church 上进行了大量实验，证明了性能和效率的显著改进。与最先进的 DiT 模型相比，FPDM 的参数数量减少了 87%，训练过程中的内存消耗减少了 60%，并且在采样计算或时间有限的情况下提高了图像生成质量。我们的代码和预训练模型可以在此 https URL 中获得。

    Jan, 2024

  • RangeLDM：快速逼真的 LiDAR 点云生成

    通过引入 RangeLDM，我们提出了一种快速生成高质量 LiDAR 点云的新方法，通过深度生成模型、变分自编码器和扩散模型来解决传统方法中的限制，从而在自动驾驶中获得稳健的表现和快速生成速度。

    Mar, 2024