IPoD: 使用点扩散进行隐含场学习，从单个 RGB-D 图像进行可推广的三维物体重建

CVPRMar, 2024

IPoD: 使用点扩散进行隐含场学习，从单个 RGB-D 图像进行可推广的三维物体重建

IPoD: Implicit Field Learning with Point Diffusion for Generalizable 3D Object Reconstruction from Single RGB-D Images

Yushuang Wu, Luyue Shi, Junhao Cai, Weihao Yuan, Lingteng Qiu...

TL;DR通过结合隐式场学习和点扩散，IPoD 方法在 3D 对象重建方面取得了优越性能，对动态适应目标对象形状以及提高精细细节刻画能力起到了积极作用。在 CO3D-v2 和 MVImgNet 数据集上的实验结果验证了 IPoD 方法在 F 分数和 Chamfer 距离上相对于现有方法的 7.8% 和 28.6% 的改进性能。

Abstract

Generalizable 3d object reconstruction from single-view rgb-d images remains a challenging task, particularly with real-world data. Current state-of-the-art methods develop Transformer-based →

3d object reconstruction rgb-d images implicit field learning point diffusion generalizability

发现论文，激发创造

IPOD: 点云强化点型物体探测器

本文提出了一种基于点云的新型三维物体检测框架 IPOD，使用每个点作为基本部件提供了高召回率和高信息保真度，设计了一种全尺寸可训练的架构，在 KITTI 数据集上取得了最新的最好表现，特别是在 hard set 上显示出极大的优势，可用于三维、俯视图和二维物体检测。

Dec, 2018

$PC^2$: 基于投影条件的点云扩散用于单张图像的三维重建

本文提出了一种新颖的基于条件去噪扩散过程的单张 RGB 图像三维重建方法，通过其几何一致的投影条件处理过程，能够生成与输入图像高度对齐的高分辨率稀疏几何形状，并自然地生成与单个输入图像一致的多个形状，相比之前的工作获得了更好的性能提升和质量改善。

Feb, 2023

从姿势 RGBD 数据学习预测场景级隐式 3D

本文提出了使用隐式函数进行场景级别三维重建的方法，利用 RGBD 数据对三维重建进行预测，与使用网络相比具有更好的鲁棒性和更少的标注要求。

Jun, 2023

CCD-3DR: 单图像三维重建中的一致条件限制扩散

该论文提出了一种利用扩散模型生成单个 RGB 图像中捕捉到的物体的三维稀疏点云的新型形状重构方法，该方法利用了一种新的中心扩散概率模型，用于一致的局部特征条件约束。在合成基准 ShapeNet-R2N2 和实际数据集 Pix3D 上进行的大量实验表明，CCD-3DR 在性能上优于竞争对手超过 40％。

Aug, 2023

InvariantOODG: 学习点云的不变特征以实现超出分布的泛化

通过使用两个分支网络从原始和增强的点云中提取局部到全局特征，在点云的不同分布之间学习不变性，提高点云的局部特征学习并在 3D 领域泛化基准测试中展示了该模型的有效性。

Jan, 2024

O^2-Recon：利用预训练的 2D 扩散模型完成场景中被遮挡物体的 3D 重建

本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。

Aug, 2023

DPOD：6D 姿态物体检测器和细化器

本文介绍了一种能够从 RGB 图像中检测三维物体和估计六自由度姿态的新型深度学习方法，称为 DPOD。该方法估计输入图像和可用的三维模型之间的密集多类二维三维对应关系图，通过 PnP 和 RANSAC 计算六自由度姿态，并使用基于深度学习的自定义方案对初始姿态估计进行了 RGB 姿态优化。与其他主要使用真实数据进行训练且不对合成渲染进行训练的方法不同，我们对合成数据和真实训练数据进行评估，显示出在所有最近的检测器中，此方法无论先前和后面都能够获得优异的结果。虽然具有精度，但本方法仍然具有实时性能。

Feb, 2019

三维扩散策略

3D Diffusion Policy (DP3) is a novel visual imitation learning approach that incorporates 3D visual representations to teach robots dexterous skills, demonstrating precise control, high success rates, and excellent generalization abilities, while rarely violating safety requirements in real-world robot learning.

Mar, 2024

IPVNet: 学习隐式点体素特征进行开放曲面三维重建

我们提出了一种基于学习的隐式点 - 体素模型（IPVNet），通过利用原始点云数据和其离散化的体素对应物来预测三维空间中表面和查询点之间的无符号距离，以实现无误差引入的开放表面的准确重建。

Nov, 2023

IPO-LDM: 基于深度的 360 度室内 RGB 全景画外技术的潜在扩散模型

360 度室内 RGB 全景图像的生成研究中，使用有限的视野图像存在困难，而现有的基于 GAN 的方法面临着提高输出质量和在不同掩码类型下泛化性能较差的障碍。本文提出了一种使用潜在扩散模型（LDM）的 360 度室内 RGB 全景图像外扩模型 IPO-LDM。我们引入了一种新颖的双模潜在扩散结构，在训练过程中利用 RGB 和深度全景数据，但在推理过程中却能出色地对缺少深度信息的 RGB 图像进行外扩。此外，我们还提出了一种新颖的技术，在每个扩散去噪步骤中引入渐进式相机旋转，从而大幅改善全景图的一致性。实验结果表明，我们的 IPO-LDM 不仅在 RGB 全景图像外扩方面显著优于现有方法，还能为不同类型的掩码生成多个多样且结构良好的结果。

Jul, 2023