高效且可扩展的稀疏点体素扩散模型点云生成
本文提出了一种新颖的概率生成建模方法,称为Point-Voxel Diffusion(PVD),它是一个统一的、概率的公式,用于无条件的形状生成和多模态形状完成。PVD将降噪扩散模型与3D形状的混合点-体素表示相结合,并通过优化变分下界来训练(条件)似然函数。实验证明了PVD的高保真度合成能力,以及从单视角深度扫描的真实对象中生成多个完成结果的能力。
Apr, 2021
本文提出了一种基于点扩散和精化的点云补全范式,其中条件生成网络使用去噪扩散概率模型生成粗糙补全, 精修网络进一步改进完成后的点云的质量,并开发了一个新的双向路径架构。 这种架构既能从部分观察到的点云中有效地提取多级特征以指导补全,也能准确地操纵三维点的空间位置以获得光滑的表面和清晰的细节。通过广泛的实验,证明了本文提出的方法在点云完成方面优于以往的最先进方法。值得注意的是,在精细网络的帮助下,我们可以将DDPM的迭代生成过程加速50倍,而不会影响其性能。
Dec, 2021
通过设计一种新颖的稀疏潜点扩散模型,将点云作为中间表示建模并控制生成的网格的整体结构和局部细节,以提高效率和可控性,实现了在生成质量和可控性方面与现有方法相比优越的网格生成。
Mar, 2023
提出一种用于三维形状生成的新型扩散Transformer——DiT-3D,直接利用普通Transformer对点云数据进行去噪处理;相较于现有U-Net方法,该模型规模更具可扩展性且生成体现更高质量的形状。
Jul, 2023
基于分治法的点云生成框架,通过基于可学习先验的补丁生成器和点块转换器,实现了高保真度点云生成,并在ShapeNet数据集上优于最新的高保真度点云生成方法。
Jul, 2023
FastDiT-3D is a novel masked diffusion transformer designed for efficient generation of high-quality 3D point clouds, achieving state-of-the-art performance with reduced training costs and improving multi-category 3D generation using a Mixture-of-Expert approach.
Dec, 2023
在电影、游戏、工程以及增强/虚拟现实等多种实际应用中,可控地生成3D资产具有重要意义。最近,扩散模型在生成3D对象的质量方面取得了显著的成果。然而,现有模型中没有一个能够实现对形状和外观的分离生成。我们首次提出了一种适用于3D扩散模型的合适表示方法,通过引入混合的点云和神经辐射场方法实现了这种分离,模拟了点位置的扩散过程,并结合高维特征空间的局部密度和亮度解码器。点位置表示对象的粗略形状,而点特征则允许对几何形状和外观细节进行建模。这种分离使得我们能够独立地对二者进行采样和控制。与之前的分离能力方法相比,我们的方法在生成方面达到了新的技术水平,降低了30-90%的FID分数,并且与其他非分离能力的最先进方法处于同一水平。
Dec, 2023
PointInfinity是一种高效的点云扩散模型,使用基于transformer的架构和固定大小的分辨率不变的潜在表示,可以在训练过程中使用低分辨率点云实现高效训练,同时在推理过程中生成高分辨率的点云。实验表明,PointInfinity可以以最先进的质量高效生成高分辨率的点云。
Apr, 2024
为了解决传统attention机制在高分辨率三维形状生成中的可扩展性问题,我们引入了一种新颖的基于Mamba架构的扩散生成模型(DiM-3D),通过利用Mamba架构的高效性和线性复杂度,DiM-3D在维持线性复杂度的同时实现了快速推理时间和大大降低的计算需求,并在ShapeNet基准测试上实验结果证明其在生成高保真度和多样性的三维形状方面表现出卓越性能。
Jun, 2024