AAAINov, 2018

无需传感器的深度预测：利用结构从单目视频中进行无监督学习

PDF
TL;DR该研究提出了一种基于几何结构的无监督视觉深度学习方法，通过建模场景和物体，学习单目视频的摄像机姿态和物体运动，并引入在线细化方法，实现对未知域的实时适应。该方法优于现有技术，包括处理运动的技术，并可用于机器人导航领域的室内和室外场景。
scene depthunsupervised learningmonocular videosgeometric structureonline refinement
发现论文，激发创造
  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020

  • 视频中深度和自运动的无监督学习

    本文提出了一种无监督学习框架，通过使用视图合成作为监督信号，同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明，我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力，并且在相似的输入设置下，姿态估计表现良好。

    Apr, 2017

  • 使用三维几何约束从单 ocular 视频中无监督学习深度和自我运动

    提出了一种新颖的无监督学习深度和自我运动的方法，它主要基于对场景的推断 3D 几何形状进行对齐，并与基于光度学营养和有效性掩模的 2D 损失相结合，最终得出在 KITTI 数据集上的优越结果。

    Feb, 2018

  • 自然场景视频中的深度估计：来自未知相机的无监督单目深度学习

    本研究提出了一种新的方法，使用相邻视频帧的一致性作为监督信号，同时从单目视频中学习深度预测、自运动、目标运动和相机内参数，并且首次实现对相机内参进行无监督学习，从而能够在任意未知来源的视频中提取准确的深度和运动信息。此方法在 Cityscapes、KITTI 和 EuRoC 数据集上验证了正确性，并取得了新的最佳性能。

    Apr, 2019

  • 无监督单目视觉深度与自我运动学习结构与语义

    我们提出了一种既利用结构又利用语义的方法，用于单目无监督学习深度和自我运动，模拟单个物体的运动并联合学习它们的三维运动矢量以及深度和自我运动，尤其适用于挑战性的动态场景，本文是 Casser 等人的扩展版本。

    Jun, 2019

  • 挑战性环境下的无监督视频深度学习

    提出了基于光流的新训练范式，它通过提供更清晰的训练目标和处理非纹理区域来降低无监督学习的难度，并处理室内环境中的挑战，实验结果与全监督方法相当。

    Oct, 2019

  • 单目视频中的无监督尺度一致深度与自运动估计

    本文介绍了一种基于几何一致性损失和自发现遮罩的深度估计和自我运动估计模型，模型能够处理运动物体和目标的遮挡问题并保证不同样本间的比例一致性。从实验结果来看，我们提出的深度估计模型在 KITTI 数据集上性能最好，并且我们提出的自动驾驶路线规划模型相对于之前的模型在预测全局一致的相机轨迹上有着很大的优势。

    Aug, 2019

  • 视频中的自监督物体运动和深度估计

    本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。

    Dec, 2019

  • 动态场景深度预测的 Web 立体视频监督

    利用全数据驱动的方法计算深度，通过对非刚性场景开发一种新数据集，其中包括大量的非刚性对象，特别是人，提出了一种损失函数进行深度预测，评估方法并表明该方法对自然场景具有更好的泛化能力。

    Apr, 2019

  • 多摄像机全景单深度

    通过使用广义时空上下文、姿势一致性约束和精心设计的光度损失掩蔽，我们将自监督单目深度和自我运动估计扩展到大基线多摄像机装置，从而学习生成密集、一致且具有尺度感的点云，这种点云与典型的 LiDAR 扫描仪具有相同的完整全景 360 度视场，并且我们提出了一种新的尺度一致评估指标更适用于多摄像头设置。

    Mar, 2021