使用扩散模型进行点云预训练
本文提出了一种基于点扩散和精化的点云补全范式,其中条件生成网络使用去噪扩散概率模型生成粗糙补全, 精修网络进一步改进完成后的点云的质量,并开发了一个新的双向路径架构。 这种架构既能从部分观察到的点云中有效地提取多级特征以指导补全,也能准确地操纵三维点的空间位置以获得光滑的表面和清晰的细节。通过广泛的实验,证明了本文提出的方法在点云完成方面优于以往的最先进方法。值得注意的是,在精细网络的帮助下,我们可以将 DDPM 的迭代生成过程加速 50 倍,而不会影响其性能。
Dec, 2021
图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态,并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性,这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征,通过匹配这些几何特征,显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上,通过直接利用这两种特征,该方法平均提高了 20.6%的内点比率、三倍的内点数目和 48.6%的配准召回率相比现有最先进方法。
Oct, 2023
本研究提出了一种基于条件去噪扩散概率模型(DDPM)的点云上采样方法,称为 PUDM。PUDM 通过对稀疏点云进行条件建模,学习了稠密点云和噪声之间的转换关系,并利用双映射范式提高点特征的辨别力。此外,PUDM 还通过参数化速率因子,在训练过程中利用稀疏点云和稠密点云之间的比例关系生成高质量的任意尺度点云,实验结果表明其具有较强的噪声鲁棒性,相比现有方法,在 Chamfer 距离和 Hausdorff 距离上取得了最先进的性能。
Dec, 2023
我们提出了一个新的框架,将点云配准问题看作是从噪声变换到对象变换的去噪扩散过程,并通过生成模型和统一概率表达解决了代表性的判别任务之一 - 点云配准问题。
Dec, 2023
本研究旨在促进 3D 深度学习表示学习的研究,重点关注高级场景理解任务,使用统一的三元组架构、源数据集和对比损失进行无监督预训练,对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测,取得了鼓舞性的结果,表明学习到的表示可以在不同领域推广使用,并且与监督的预训练的改善程度相似,建议未来的努力应该更加注重扩充数据收集而非详细标注。
Jul, 2020
本文提出了一种将 ViT 和扩散模型结合的 DiffPoint 架构,用于 2D 到 3D 重建的任务,通过将嘈杂的点云分割成不规则块,在每个扩散步骤中利用 ViT 模型训练以预测目标点,实现了在单视图和多视图重建任务中的最先进结果,并且引入了一种统一且灵活的特征融合模块用于聚合来自不同输入图像的特征,进一步证明了应用统一架构于语言和图像之间以提升 3D 重建任务的可行性。
Feb, 2024
本文提出了一个概率模型,将点云看作是处于非平衡热力学系统内的粒子,并通过扩散过程学习将噪声分布转换为所需形状分布的逆扩散过程,即点云生成过程。具体地,将点云的逆扩散过程建模为一个以某个形状因子为条件的马尔科夫链,并提供了闭合形式的变分下界以进行训练。实验结果显示,该模型在点云生成和自编码方面具有竞争性能。
Mar, 2021
通过构建大规模点云数据集,将点云预训练任务形式化为一种半监督问题,并从这样多样化的预训练数据中学习可推广的表示,从而在多个基准模型和基准测试中取得了显著的性能增益。
Jun, 2023
本文提出了一种基于 2D network 预训练的点云 3D 预训练新方法,通过引入多视角一致性损失,可有效防止 3D 特征丢失并在 3D 检测和语义分割等任务中实现最先进的性能。
Jun, 2023
提出了一种名为 ProposalContrast 的无监督点云预训练框架,该框架通过对比区域建议来学习强大的 3D 表示,从而更好地适应 3D 检测属性。
Jul, 2022