基于学习的高斯斑晕渲染和微调扩散特征的少样本点云重建和去噪

Apr, 2024

基于学习的高斯斑晕渲染和微调扩散特征的少样本点云重建和去噪

Few shot point cloud reconstruction and denoising via learned Guassian splats renderings and fine-tuned diffusion features

PDF

Pietro Bonazzi, Marie-Julie Rakatosaona, Marco Cannici, Federico Tombari, Davide Scaramuzza

TL;DR利用深度学习方法从少量图像重建和去噪点云，通过使用基于图像的深度学习模型所提取的先验知识来改善约束条件下的重建，并通过引入语义一致性监督来规范化可微渲染器的训练。同时，提出了一种细调稳定扩散算法用于去噪点云的渲染图像，并论证了这些学习的滤波器如何能够去除无需 3D 监督的点云噪声，并与 DSS 和 PointRadiance 方法进行了对比，实现了在 Sketchfab 测试集和 SCUT 数据集上更高质量的 3D 重建。

Abstract

Existing deep learning methods for the reconstruction and denoising of point clouds rely on small datasets of 3D shapes. We circumvent the

deep learning reconstruction denoising point clouds hybrid surface and appearance

发现论文，激发创造

$PC^2$: 基于投影条件的点云扩散用于单张图像的三维重建

本文提出了一种新颖的基于条件去噪扩散过程的单张 RGB 图像三维重建方法，通过其几何一致的投影条件处理过程，能够生成与输入图像高度对齐的高分辨率稀疏几何形状，并自然地生成与单个输入图像一致的多个形状，相比之前的工作获得了更好的性能提升和质量改善。

Feb, 2023

稠密三维物体重建的高效点云生成学习

本文提出了一种新的 3D 生成建模框架，使用 2D 卷积运算从多个视角预测 3D 结构，并联合应用几何推理和 2D 投影优化来高效地生成以密集点云形式呈现的物体形状，并引入伪渲染器来合成优化的新深度图，在单张图像 3D 对象重建任务中表现了优越的形状相似性和预测密度。

Jun, 2017

深度点云重建

该研究提出了一种基于深度学习的点云重建网络，采用两个阶段进行密集化、去噪和点云完整性重建，其中使用了变换器进行离散体素向 3D 点的转换，同时提出了放大位置编码模块以优化变换器，实现在 3D 扫描建模领域的最新水平。

Nov, 2021

基于图像渲染的去噪传播

通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

Feb, 2024

BuilDiff: 单视角条件下的三维建筑形状生成

利用图片条件模型扩散点云模型的新型三维建筑生成方法，在保持整体结构同时综合生成建筑顶部结构，实验证明该方法在建筑生成质量方面优于之前的研究。

Aug, 2023

优化的三维高斯表示用于高质量动态场景重建

使用变形的多层感知器（MLP）网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征，引入可学习的去噪掩模结合去噪损失以从场景中消除噪点，通过静态约束和运动一致性约束减轻点的运动噪声，实验证明我们的方法在渲染质量和速度上超过了现有方法，同时显著减少了与 3D-GS 相关的内存使用，非常适用于新的视角合成和动态建图等任务。

May, 2024

GaussianRoom: 利用 SDF 导引和单目线索改进的 3D 高斯点雨法用于室内场景重建

通过将神经有向距离场（SDF）与三维高斯光斑（3DGS）相结合，我们提出了一个统一的优化框架，用于在室内场景中进行高质量的重建和实时速度的渲染。

May, 2024

用扩散模型去噪蒙特卡洛渲染

扩散模型对低分辨率图像进行去噪，利用自然渲染信息进行条件控制，与现有方法在不同采样率下有较强竞争力，但当前指标未能准确评估重建质量。

Mar, 2024

点云去噪的可微流形重建

本文提出了一种基于自编码器的 3D 点云去噪方法，该方法通过学习嵌入式邻域特征的稀疏点的局部和非局部特征表示，对 3D 点云中的噪声进行去除，并通过重建的流形重新采样得到去噪后的点云，该方法在合成噪声和真实世界噪声下均表现出显著的性能优于现有的去噪方法。

Jul, 2020

NeuSG: 基于神经网络的隐式表面重建与 3D 高斯喷点引导

神经隐式表面重建方法通过引导来自三维高斯化簇粘附的点云，结合来自神经隐式模型的表面预测精炼来提高细节的重建效果。

Dec, 2023