通过点 - 体素扩散生成和补全 3D 形状
该研究提出了一种面向大规模3D场景连续几何的概率形状完成方法,该方法利用生成细胞自动机学习多模态分布,通过稀疏体素嵌入渐进式生成连续形状,其训练目标最大化完整形状分布的变分下限,并通过实验证明了相比于确定性模型,该方法在几何完成方面的表现更佳。
Apr, 2022
借助Viewset Diffusion框架,可以从2D数据中训练图像条件化的3D生成模型,从而解决单视图3D重建中的歧义问题,并通过对多视图图像集的去噪扩展了3D真实数据的可用性,通过仅渲染3张图片,我们的模型可以执行3D生成和单视图重建。
Jun, 2023
提出了一种新的基于扩散的形状完成方法,将形状完成作为一种基于条件的生成任务,并通过分层特征聚合机制和包含性感知融合策略来实现形状完成,从而在形状完成方面取得了最新的技术成果。
Jun, 2023
提出一种用于三维形状生成的新型扩散Transformer——DiT-3D,直接利用普通Transformer对点云数据进行去噪处理;相较于现有U-Net方法,该模型规模更具可扩展性且生成体现更高质量的形状。
Jul, 2023
利用多视角深度,通过MVDD扩展扩散模型以生成高质量的3D形状,并通过增强视图之间的一致性及深度图对齐来提供卓越的3D形状生成和深度完成能力,以及作为下游任务的3D先验。
Dec, 2023
FastDiT-3D is a novel masked diffusion transformer designed for efficient generation of high-quality 3D point clouds, achieving state-of-the-art performance with reduced training costs and improving multi-category 3D generation using a Mixture-of-Expert approach.
Dec, 2023
在电影、游戏、工程以及增强/虚拟现实等多种实际应用中,可控地生成3D资产具有重要意义。最近,扩散模型在生成3D对象的质量方面取得了显著的成果。然而,现有模型中没有一个能够实现对形状和外观的分离生成。我们首次提出了一种适用于3D扩散模型的合适表示方法,通过引入混合的点云和神经辐射场方法实现了这种分离,模拟了点位置的扩散过程,并结合高维特征空间的局部密度和亮度解码器。点位置表示对象的粗略形状,而点特征则允许对几何形状和外观细节进行建模。这种分离使得我们能够独立地对二者进行采样和控制。与之前的分离能力方法相比,我们的方法在生成方面达到了新的技术水平,降低了30-90%的FID分数,并且与其他非分离能力的最先进方法处于同一水平。
Dec, 2023
本文介绍了一种基于3D潜在扩散模型的3D形状补全方法,该方法通过交叉注意力和空间特征整合实现以图像为基础的条件和以3D特征为基础的条件,以高分辨率、真实感的方式完成形状补全。
Mar, 2024
本文提出了一种新颖的潜在的3D扩散模型来生成神经体素场,旨在实现准确的部件感知结构。通过对现有方法的比较,我们采用了两个关键设计来确保高质量和准确的部件感知生成。一方面,我们引入了潜在的3D扩散过程来生成神经体素场,使其能够以显著更高的分辨率生成富有纹理和几何细节。另一方面,我们引入了部件感知的形状解码器,将部件代码整合到神经体素场中,引导准确的部件分解并产生高质量的渲染结果。通过广泛实验和与现有最先进方法的比较,我们对我们的方法在四种不同类别的数据上进行了评估。结果表明,我们提出的方法在部件感知形状生成方面具有优秀的生成能力,优于现有最先进方法。
May, 2024
本研究针对点云生成中的效率和多样性问题,提出了一种新颖的点云U-Net扩散架构。该模型结合了高分辨率点表示和稀疏体素的计算效率,显著提高了生成速度并在多个任务中表现出色,展示了在大规模数据集上的可扩展性和高质量生成的潜力。
Aug, 2024