本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。

Aug, 2023

通过对场景信息和先前知识进行建模，我们提出了一种新的方法来从 RGB-D 图像中重建带有遮挡的 3D 人体，通过建模可能的姿势空间并使用深度数据约束可见身体部分，我们的方法在 PROX 数据集上的实验结果表明，与其他方法相比，能够产生更准确和合理的结果。

Oct, 2023

探索 3D 场景的占据状态和语义的三维占据预测任务中，通过利用更强大的多模态模型在训练时指导视觉模型，提出了渲染辅助蒸馏的范例 RadOcc，其中利用可微的体积渲染在透视视图中生成深度和语义图，并提出了两个新的一致性标准，即深度一致性损失和语义一致性损失，实验证明该方法在提高各种 3D 占据预测方法方面的有效性。

Dec, 2023

利用 2D 标签训练多视图 3D 占有模型，降低对昂贵的 3D 占有注释的依赖，并在实际应用中取得与使用 3D 标签全面监督的模型相当的性能。

Sep, 2023

研究了 3D 形状和 2D 观察之间的一致性，并提出了一种可微分的公式，能够计算给定任意视角观察的 3D 形状的梯度；通过重新定义可微的 Ray 一致性（DRC）项，可以将视图一致性重新推导出来。这种公式可以结合不同类型的多视图观察，如前景掩模、深度、彩色图像、语义等，作为学习单视角 3D 预测的监督来使用，我们在控制性的实验中证明了我们技术的实用性。同时，我们还表明，这种方法可以改进从 PASCAL VOC 数据集中对物体进行单视图重建的现有技术。

Apr, 2017

本文提出了一种基于数据驱动的方法解释室内场景，并利用 CAD 3D 模型表示场景中的物体和墙壁布局，最终在 NYU 数据集上呈现了令人鼓舞的结果。

Apr, 2015

这篇论文介绍了一种从单目 RGB-D 学习 4D 视觉表示估计的框架，通过将点云编码成连续表示，该模型能够在时空上跨越上下文从而解决遮挡问题，实验证明这种方法可以成功地处理遮挡问题，并自动学习跟随遮挡物体的注意机制，可以用于许多视频理解任务。

Apr, 2022

本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

Nov, 2023

本文提出了一种名为 SO-Pose 的框架，通过自遮挡推理和建立一个两层的 3D 物体表示，增强了端到端 6D 位姿估计的精度，该框架以单个 RGB 图像作为输入并同时生成 2D-3D 对应和自遮挡信息，融合这两个信息直接回归 6DoF 姿态参数，通过跨层次的一致性对齐对应、自遮挡和 6D 姿态，进一步提高了准确性和鲁棒性，在各种具有挑战性的数据集上超过或与所有其他最先进的方法相媲美。

Aug, 2021

本文提出了一种基于深度传感器的主动 3D 映射方法，不仅可以学习从稀疏的深度测量中重建稠密的 3D 占据地图，还可以优化深度测量光线的反应控制，该方法通过一种快速且有效的优化算法实现。实验结果表明，基于稀疏测量学习重建的方法与深度测量光线优化相结合，可以有效提高 3D 地图的精度。

Aug, 2017