DiffPoint: 用基于ViT的扩散模型进行单视点云和多视点云重建

Feb, 2024

DiffPoint: 用基于ViT的扩散模型进行单视点云和多视点云重建

DiffPoint: Single and Multi-view Point Cloud Reconstruction with ViT Based Diffusion Model

Yu Feng, Xing Shi, Mengli Cheng, Yun Xiong

TL;DR本文提出了一种将ViT和扩散模型结合的DiffPoint架构，用于2D到3D重建的任务，通过将嘈杂的点云分割成不规则块，在每个扩散步骤中利用ViT模型训练以预测目标点，实现了在单视图和多视图重建任务中的最先进结果，并且引入了一种统一且灵活的特征融合模块用于聚合来自不同输入图像的特征，进一步证明了应用统一架构于语言和图像之间以提升3D重建任务的可行性。

Abstract

As the task of 2d-to-3d reconstruction has gained significant attention in various real-world scenarios, it becomes crucial to be able to generate high-quality point clouds. Despite the recent success of deep lea

发现论文，激发创造

MVPNet：用于从单张图像重建三维物体的多视图点回归网络

该论文提出了一种基于点云的物体表面重建方法，使用编码器-解码器网络通过单张图片生成多种视角下的点云，并且使用几何损失函数提高表面拟合准确性。

Nov, 2018

从2D视觉Transformer开始解决3D视觉任务？

本文提出一种通用的视觉转换器（Visual Transformer），名为Simple3D-Former，可用于高效地进行2D和3D任务的训练和预测，并且相比高度定制的3D特有设计实现了惊人的鲁棒性，同时利用大规模现实2D图像的预训练权重可免费提高3D任务的性能.

Sep, 2022

$PC^2$: 基于投影条件的点云扩散用于单张图像的三维重建

本文提出了一种新颖的基于条件去噪扩散过程的单张RGB图像三维重建方法，通过其几何一致的投影条件处理过程，能够生成与输入图像高度对齐的高分辨率稀疏几何形状，并自然地生成与单个输入图像一致的多个形状，相比之前的工作获得了更好的性能提升和质量改善。

Feb, 2023

视图集扩散：从二维数据生成(0-)图像条件下的三维生成模型

借助Viewset Diffusion框架，可以从2D数据中训练图像条件化的3D生成模型，从而解决单视图3D重建中的歧义问题，并通过对多视图图像集的去噪扩展了3D真实数据的可用性，通过仅渲染3张图片，我们的模型可以执行3D生成和单视图重建。

Jun, 2023

探索纯扩散变压器与三维形状生成

提出一种用于三维形状生成的新型扩散Transformer——DiT-3D，直接利用普通Transformer对点云数据进行去噪处理；相较于现有U-Net方法，该模型规模更具可扩展性且生成体现更高质量的形状。

Jul, 2023

DiffPMAE: 点云重建的扩散遮蔽自编码器

点云流媒体成为交互式服务交付和未来元宇宙的常态，但庞大的数据量带来了诸多挑战，特别是高带宽消耗和大储存容量。为解决这些问题，我们提出了一种有效的点云重建架构DiffPMAE，通过自监督学习和扩散模型机制远程重建点云数据，并在点云压缩、上采样和补全等下游任务中验证了其在自动编码和相关任务方面的优越性。

Dec, 2023

MVDD：多视角深度扩散模型

利用多视角深度，通过MVDD扩展扩散模型以生成高质量的3D形状，并通过增强视图之间的一致性及深度图对齐来提供卓越的3D形状生成和深度完成能力，以及作为下游任务的3D先验。

Dec, 2023

基于学习的高斯斑晕渲染和微调扩散特征的少样本点云重建和去噪

利用深度学习方法从少量图像重建和去噪点云，通过使用基于图像的深度学习模型所提取的先验知识来改善约束条件下的重建，并通过引入语义一致性监督来规范化可微渲染器的训练。同时，提出了一种细调稳定扩散算法用于去噪点云的渲染图像，并论证了这些学习的滤波器如何能够去除无需3D监督的点云噪声，并与DSS和PointRadiance方法进行了对比，实现了在Sketchfab测试集和SCUT数据集上更高质量的3D重建。

Apr, 2024

Diff-PCC：基于扩散的3D点云神经压缩

本研究解决了传统点云压缩方法在质量和压缩性能上的不足，提出了一种新颖的基于扩散的点云压缩方法Diff-PCC。该方法利用双空间潜在表示，通过独立编码骨干提取形状潜在信息，并通过扩散生成器实现高质量重建，实验结果显示其在超低比特率下实现了领先的压缩性能和优越的主观质量。

Aug, 2024

VI3DRM：通过照片真实的视角合成实现稀疏视角精细3D重构

本文针对现有单视图3D重构方法在未见区域的预测过于依赖预训练扩散模型的偏置的问题，提出了视觉各向同性3D重构模型VI3DRM。该模型在一致的ID和视角解耦的3D潜在空间中运作，能够精准构建点地图，生成与真实照片无差别的高度真实图像。实验显示，VI3DRM在NVS任务上显著优于现有最佳方法DreamComposer，其PSNR、SSIM和LPIPS指标均有显著提升。

Sep, 2024