我们提出了一种新颖的方法，用于从多个图像中进行 3D 物体表面重建，其中只捕获了物体的一部分。我们的方法基于两个最新发展：使用神经辐射场进行表面重建，用于重建表面的可见部分，以及使用预训练的 2D 扩散模型的指导（SDS）完成未观察到的区域的形状。我们引入了三个组件：首先，建议使用法线图作为 SDS 的纯几何表示，而不是与外观信息交织在一起的颜色渲染。其次，我们在训练过程中使 SDS 噪声保持固定，这会导致更一致的梯度和更好的收敛性。第三，我们提出了多视角 SDS 作为一种在不对底层 2D 稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在 BlendedMVS 数据集上对我们的方法进行评估，结果显示相比竞争方法，我们取得了显著的定量和定性改进。

Dec, 2023

提出了一种新的基于扩散的形状完成方法，将形状完成作为一种基于条件的生成任务，并通过分层特征聚合机制和包含性感知融合策略来实现形状完成，从而在形状完成方面取得了最新的技术成果。

Jun, 2023

本文介绍了一种基于 3D 潜在扩散模型的 3D 形状补全方法，该方法通过交叉注意力和空间特征整合实现以图像为基础的条件和以 3D 特征为基础的条件，以高分辨率、真实感的方式完成形状补全。

Mar, 2024

通过利用 2D 先验和点渲染技术，提出一个零样本的框架，用于完成部分观测到的点云，实验结果表明该方法能够优于现有方法并完成各种对象的形状恢复。

Apr, 2024

使用扩散模型方法在单个 3D LiDAR 扫描中完成场景实现了比最先进的完成场景方法更多细节的场景，为扩散模型应用于场景规模点云数据的进一步研究提供了支持。

Mar, 2024

本文提出了一种基于点扩散和精化的点云补全范式，其中条件生成网络使用去噪扩散概率模型生成粗糙补全， 精修网络进一步改进完成后的点云的质量，并开发了一个新的双向路径架构。 这种架构既能从部分观察到的点云中有效地提取多级特征以指导补全，也能准确地操纵三维点的空间位置以获得光滑的表面和清晰的细节。通过广泛的实验，证明了本文提出的方法在点云完成方面优于以往的最先进方法。值得注意的是，在精细网络的帮助下，我们可以将 DDPM 的迭代生成过程加速 50 倍，而不会影响其性能。

Dec, 2021

Point cloud completion using a self-supervised framework called Partial2Complete (P2C) that utilizes incomplete point clouds to predict masked patches by learning prior information from different partial objects, incorporating a region-aware chamfer distance and a normal consistency constraint, and demonstrating comparable results to methods trained with complete shapes.

Jul, 2023

本文提出了一种新颖的多模态融合网络用于点云补全，该网络可以同时融合视觉和文本信息，有效预测不完整形状的语义和几何特征，并通过多阶段特征融合策略将文本和视觉特征渐进地融入骨干网络，同时借助精细化的文本描述进一步探索点云补全的有效性，通过广泛的定量和定性实验证明我们方法相比最先进的点云补全网络具有更优越的性能。

Aug, 2023

图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态，并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性，这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征，通过匹配这些几何特征，显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上，通过直接利用这两种特征，该方法平均提高了 20.6％的内点比率、三倍的内点数目和 48.6％的配准召回率相比现有最先进方法。

Oct, 2023

本文提出了一种无监督的点云补全方法，不需要 3D 补全点云，只利用 2D 补全图像，使用单视角 RGB 图像提取 2D 特征，并使用融合模块将其与部分点云提取的 3D 特征相结合，以预测物体的完整形状。

Dec, 2022