本文提出了一种无监督的 RGB-D 注册的新型框架 NeRF-UR，通过使用神经辐射场（NeRF）作为场景的全局模型，并利用输入和 NeRF 重构帧之间的一致性进行姿态优化，从而显著提高了在多视角一致性差的场景中的鲁棒性，并为注册模型提供更好的学习信号。通过在合成数据集 Sim-RGBD 上训练注册模型，并在真实数据上进行无监督微调，使我们的框架能够将特征提取和注册的能力从模拟迁移到现实场景。我们的方法在室内 RGB-D 数据集 ScanNet 和 3DMatch 上优于最先进的对手。

May, 2024

该研究介绍了一种基于单目深度估计，使用错误匹配视差地图训练立体匹配网络的方法，无需真实深度或手动设计人工数据即可将任何 RGB 图像列表转换为立体训练数据，并在 KITTI、ETH3D 和 Middlebury 等数据集上表现出色。

Aug, 2020

提出了一种基于自监督学习框架的多视角立体网络，使用输入数据的伪标签来为网络提供超级噪声，此方法在 DTU 数据集上表现良好，并且在无监督多视图立体场景中能够显著优于现有的方法。

Apr, 2021

提出了一种针对多视点立体相机图像的第一种通用视角合成方法，该方法引入了立体匹配以实现高质量的几何重建。该方法包括三个关键组件：立体特征提取器、深度引导的平面扫描和立体深度损失，并提出了第一个多视点数据集 StereoNVS，实验证明该方法优于以前的方法。

Apr, 2024

NeRF-Det++ 通过创新地利用 NeRF 来增强表示学习，在室内多视角 3D 检测方面取得了令人瞩目的性能。对于其目前的设计，我们揭示了三个关键性的缺点，包括语义模糊、不恰当的采样和对深度监督的利用不足。为了解决上述问题，我们提出了三种相应的解决方案：1）语义增强；2）透视感知采样；3）序数残差深度监督。在 ScanNetV2 和 ARKITScenes 数据集中，NeRF-Det++ 呈现出令人满意的性能。尤其是在 ScanNetV2 中，NeRF-Det++ 在 [email protected] 方面超过竞争对手 NeRF-Det 1.9%，在 [email protected] 方面超过 3.5%。该代码将在公开的网址上提供。

Feb, 2024

本文提出了 LidarStereoNet，是第一个可以在端到端的未经监督训练的融合网络，无需地面真实深度图。我们通过引入新颖的 “反馈循环” 来连接网络输入与输出，并进一步将分段平面模型结合到网络学习中，以进一步约束深度与底层 3D 几何形状相一致，从而在现实和合成数据集上表现出显著的优越性，比现有的立体匹配、深度完成和 Lidar-Stereo 融合方法取得了更好的效果。

Apr, 2019

本文介绍了 ActiveStereoNet，这是一种针对主动立体系统的深度学习解决方案，它是完全自监督的，使用新颖的重构损失函数，具有较强的噪声鲁棒性和纹理特征稳健性，能够处理遮挡等场景并取得了令人信服的结果。

Jul, 2018

本论文提出了一种基于卷积神经网络的方法，能够从立体输入中学习计算密集的视差图，使用图像变形误差作为损失函数，无需地面真实的视差图。该方法经过在 KITTI 和 Middlebury 立体基准数据集上的实验，证明优于许多现有技术并且速度更快。

Sep, 2017

DistillNeRF 是一个自监督学习框架，专注于理解自动驾驶中基于有限 2D 观测的 3D 环境。该方法通过稀疏的、单帧的多视角相机输入，预测丰富的神经场景表示，并通过可微分渲染进行自监督训练以重构 RGB、深度或特征图像。实验证明，DistillNeRF 在场景重建、新视角合成、深度估计和 3D 语义占用预测等方面明显优于现有自监督方法。

Jun, 2024

该论文引入了一种基于神经辐射场（NeRFs）的新方法，用于生成逼真的多视角训练数据。通过 NeRFs 创建了多样化的室内和室外多视角数据集，并利用透视投影几何指导下的最先进的特征检测器和描述器进行训练。实验证明，该方法在相对位姿估计、点云配准和单应性估计等标准基准测试上达到了竞争性或更优的性能，并且相较于现有方法需要更少的训练数据。

Mar, 2024