3D 点云生成的扩散概率模型
我们提出了一个新的框架,将点云配准问题看作是从噪声变换到对象变换的去噪扩散过程,并通过生成模型和统一概率表达解决了代表性的判别任务之一 - 点云配准问题。
Dec, 2023
本文提出了一种新颖的概率生成建模方法,称为 Point-Voxel Diffusion(PVD),它是一个统一的、概率的公式,用于无条件的形状生成和多模态形状完成。PVD 将降噪扩散模型与 3D 形状的混合点 - 体素表示相结合,并通过优化变分下界来训练(条件)似然函数。实验证明了 PVD 的高保真度合成能力,以及从单视角深度扫描的真实对象中生成多个完成结果的能力。
Apr, 2021
本文提出了一种基于素描和文本引导的彩色点云生成概率扩散模型,通过结合物体的手绘素描和文本描述,联合进行去噪过程,逐步扩散点坐标和颜色值以达到高斯分布,从而产生所需形状和颜色的彩色点云生成结果。
Aug, 2023
扩散模型通过训练大量数据点,利用逐渐添加随机噪声和逆扩散过程将数据样本从复杂分布转换为简单分布,并学习数据流形,优于其他方法(包括生成对抗网络)来建模自然图像等分布。
Dec, 2023
通过设计一种新颖的稀疏潜点扩散模型,将点云作为中间表示建模并控制生成的网格的整体结构和局部细节,以提高效率和可控性,实现了在生成质量和可控性方面与现有方法相比优越的网格生成。
Mar, 2023
我们提出了一种基于扩散密集噪声去除的概率模型来解决点云配准问题,通过将离线模型的预测结果映射到真实结果来训练模型,并且通过旋转矩阵的变换和刚体变换的辅助信息逐步提高配准的准确性。在 3DMatch 和 3DLoMatch 上的实验证明了我们的 DiffusionPCR 在注册率方面具有世界领先水平 (95.3%/81.6%)。
Dec, 2023
在电影、游戏、工程以及增强 / 虚拟现实等多种实际应用中,可控地生成 3D 资产具有重要意义。最近,扩散模型在生成 3D 对象的质量方面取得了显著的成果。然而,现有模型中没有一个能够实现对形状和外观的分离生成。我们首次提出了一种适用于 3D 扩散模型的合适表示方法,通过引入混合的点云和神经辐射场方法实现了这种分离,模拟了点位置的扩散过程,并结合高维特征空间的局部密度和亮度解码器。点位置表示对象的粗略形状,而点特征则允许对几何形状和外观细节进行建模。这种分离使得我们能够独立地对二者进行采样和控制。与之前的分离能力方法相比,我们的方法在生成方面达到了新的技术水平,降低了 30-90% 的 FID 分数,并且与其他非分离能力的最先进方法处于同一水平。
Dec, 2023
本研究介绍了一种基于 SE (3) 扩散模型的点云注册框架,用于实现现实场景下的 6D 物体姿态估计。我们的方法将 3D 注册任务作为一种去噪扩散过程,逐步改进源点云的姿态,以与模型点云精准对齐。通过 SE (3) 扩散过程和 SE (3) 反向过程对我们的框架进行训练。
Oct, 2023
本文提出了一种自回归、端到端优化的视频扩散模型,受到神经视频压缩技术的启发,可用于生成高质量的视频,并提出了可扩展的连续排名概率得分(CRPS)方法,以评估视频的概率预测能力,该方法在自然和仿真视频的多个数据集上比先前方法的感知质量和概率预测有着显著的提高。
Mar, 2022