使用直接法从单目视频中学习深度
本文研究了如何利用卷积神经网络深度预测图来进行准确而密集的单目重建,并提出了一种将CNN预测的密集深度图与直接单目SLAM测量所获得的深度测量自然融合的方法,证明了这种方法在场景重建绝对尺度估计等方面的鲁棒性和准确性。最终,提出了一个将语义标签与单个帧的密集SLAM高效融合的框架,能够从单个视图中获得语义一致的场景重建。
Apr, 2017
本文提出了一种无监督学习框架,通过使用视图合成作为监督信号,同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明,我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力,并且在相似的输入设置下,姿态估计表现良好。
Apr, 2017
通过利用深度单目深度预测来改进单目视觉里程计,利用直接虚拟立体测量方法将深度预测与Direct Sparse Odometry(DSO)相结合,关键考虑半监督学习,并在KITTI基准测试中超越其他的方法,实现了与基于立体相机的方法相当的性能。
Jul, 2018
本文提出了一种基于生成对抗网络的无监督学习框架,从未标记的RGB图像序列中预测场景的6自由度姿态相机运动和单目深度图,并在KITTI和Cityscapes数据集上给出了详细的定量和定性评估,结果表明该方法优于现有传统和无监督深度VO方法,提供更好的姿态估计和深度恢复结果。
Sep, 2018
该研究提出了一种基于几何结构的无监督视觉深度学习方法,通过建模场景和物体,学习单目视频的摄像机姿态和物体运动,并引入在线细化方法,实现对未知域的实时适应。该方法优于现有技术,包括处理运动的技术,并可用于机器人导航领域的室内和室外场景。
Nov, 2018
本研究提出了一种新的方法,使用相邻视频帧的一致性作为监督信号,同时从单目视频中学习深度预测、自运动、目标运动和相机内参数,并且首次实现对相机内参进行无监督学习,从而能够在任意未知来源的视频中提取准确的深度和运动信息。此方法在Cityscapes、KITTI和EuRoC数据集上验证了正确性,并取得了新的最佳性能。
Apr, 2019
该论文提出了一种自监督学习的方法,利用几何先验和自编码器来提高单目深度估计的效果,实验结果表明该方法在KITTI数据集上的表现优于现有方法,适用于高性能GPU和嵌入式设备。
Aug, 2019
提出一个新的单目视觉里程计框架D3VO,它利用三个层次的深度网络——深度、姿态和不确定性估计,并使用自监督单目深度估计网络训练了预测亮度变换参数,提高了深度估计精度和提供了学习到的光度残差加权函数,进而实现前端跟踪和后端非线性优化。在KITTI里程测量基准和EuRoC MAV数据集上测试表明,D3VO在单目视觉里程计方面的表现优于传统方法和其他最先进的VO方法,同时仅使用一个相机就可以实现与最先进的立体/ LiDAR里程测量和最先进的视觉惯性里程测量相媲美的结果。
Mar, 2020
该论文综述了基于深度学习的单个RGB图像和视频的深度估计方法,包括输入输出模态、网络结构和学习方法的分类,历史里程碑,以及现有方法使用的流程、数据集和评估指标。
Jun, 2024