挑战性环境下的无监督视频深度学习
本研究提出了一种新的方法,使用相邻视频帧的一致性作为监督信号,同时从单目视频中学习深度预测、自运动、目标运动和相机内参数,并且首次实现对相机内参进行无监督学习,从而能够在任意未知来源的视频中提取准确的深度和运动信息。此方法在 Cityscapes、KITTI 和 EuRoC 数据集上验证了正确性,并取得了新的最佳性能。
Apr, 2019
本文提出了一种无监督学习框架,通过使用视图合成作为监督信号,同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明,我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力,并且在相似的输入设置下,姿态估计表现良好。
Apr, 2017
该研究提出了一种基于几何结构的无监督视觉深度学习方法,通过建模场景和物体,学习单目视频的摄像机姿态和物体运动,并引入在线细化方法,实现对未知域的实时适应。该方法优于现有技术,包括处理运动的技术,并可用于机器人导航领域的室内和室外场景。
Nov, 2018
提出了一种新颖的无监督学习深度和自我运动的方法,它主要基于对场景的推断 3D 几何形状进行对齐,并与基于光度学营养和有效性掩模的 2D 损失相结合,最终得出在 KITTI 数据集上的优越结果。
Feb, 2018
本文提出了一种自监督学习框架,从视频中估算单个对象的运动和单眼深度,并将对象运动建模为六个自由度刚体变换;此外,该方法还使用实例分割掩码引入对象信息,并通过引入新的几何约束损失项消除运动预测的尺度歧义,实验结果表明,该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动,与自监督研究方法相比,在 3D 场景流预测方面有更好的表现,对动态区域的视差预测也有所贡献。
Dec, 2019
本研究聚焦于自监督单目深度估计在室内环境下的困难,通过引入深度分解模块和残差姿态估计模块分别解决深度网络和姿态网络中的问题,实现相对室外环境更好的表现。
Jul, 2021
室内深度自动估计的自我监督学习是困难的,挑战主要集中在大面积低纹理区域和复杂的内部训练数据上。本文提出了一种名为 IndoorDepth 的新方法,包括两个创新点:首先,我们提出了一种改进的结构相似(SSIM)功能的新颖光度损失函数,用于应对低纹理区域的挑战;此外,为了进一步减轻不准确的自身运动预测问题,我们使用多个不同阶段的光度损失进行训练,以构建更深的姿态网络。通过对实验的深入研究,我们验证了每个新想法的有效性。在 NYUv2 基准测试中,我们的 IndoorDepth 方法在性能上超过了之前的最新方法。此外,我们还在 ScanNet 数据集上验证了我们的方法的泛化能力。
Dec, 2023
从单目视频序列中学习单张图像深度估计模型是一个非常具有挑战性的问题。在本文中,我们提出了一种新颖的训练损失,使我们能够在训练过程中包含更多图像以进行监督。我们提出了一个简单而有效的模型来考虑帧与帧之间的像素运动。同时,我们还设计了一种新颖的网络架构来进行单张图像估计。当结合在一起时,我们的方法在自监督设置下,在 KITTI 数据集上产生了最先进的结果。
Oct, 2023
本文研究了卷积神经网络在无监督学习下学习光流预测的能力;提出了一种新的模型来显式模拟遮挡问题,并使用新颖的变换方式来更好地学习大运动;在 Flying Chairs,MPI-Sintel 和 KITTI 标准数据集上进行了测试,结果表明在 KITTI 数据集上无监督方法的效果优于有监督方法,尤其在该数据集上,我们的方法表现出色。
Nov, 2017