Aug, 2018

UnDEMoN 的更深入了解：深度和自我运动估计的非监督深度网络

PDF
TL;DR本文提出一种基于无监督深度学习框架 UnDEMoN，用于直接从单目图像中确定密集深度图和 6 自由度相机姿态信息的方法。我们通过引入一个新的目标函数，同时最小化空间和时间重建损失，使用双线性采样核定义这些损失，并使用 Charbonnier 惩罚函数进行惩罚，提高了深度和自我运动估计的性能。我们的方法不需要进行粗到细的策略，提高了估计的准确性，并与现有的有监督和无监督方法在 KITTI 驾驶数据集上进行了性能比较。
unsupervised deep learningdense depth map6-dof camera poseimage reconstructionmonocular images
发现论文，激发创造
  • DeMoN: 用于学习单目立体视觉深度和运动的深度和运动网络

    该论文将运动结构问题建模为学习问题，使用卷积网络端到端地训练连续、无约束图像对的深度和相机运动，采用多层叠加的编码器 - 解码器网络。与传统的两帧结构运动方法相比，结果更加精确、更强韧。

    Dec, 2016

  • 视频中深度和自运动的无监督学习

    本文提出了一种无监督学习框架，通过使用视图合成作为监督信号，同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明，我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力，并且在相似的输入设置下，姿态估计表现良好。

    Apr, 2017

  • UnDeepVO: 无监督深度学习单目视觉里程计

    本文提出了一种新颖的单目视觉里程计（VO）系统 UnDeepVO，其能够使用深度神经网络估计单目相机的 6-DoF 姿态和视野深度，该系统具有无监督深度学习方案和绝对尺度恢复两个显着特点，并且在 KITTI 数据集上获得了良好的姿态精度。

    Sep, 2017

  • GANVO: 基于生成对抗网络的无监督单目视觉里程计与深度估计

    本文提出了一种基于生成对抗网络的无监督学习框架，从未标记的 RGB 图像序列中预测场景的 6 自由度姿态相机运动和单目深度图，并在 KITTI 和 Cityscapes 数据集上给出了详细的定量和定性评估，结果表明该方法优于现有传统和无监督深度 VO 方法，提供更好的姿态估计和深度恢复结果。

    Sep, 2018

  • 单目视频中的无监督尺度一致深度与自运动估计

    本文介绍了一种基于几何一致性损失和自发现遮罩的深度估计和自我运动估计模型，模型能够处理运动物体和目标的遮挡问题并保证不同样本间的比例一致性。从实验结果来看，我们提出的深度估计模型在 KITTI 数据集上性能最好，并且我们提出的自动驾驶路线规划模型相对于之前的模型在预测全局一致的相机轨迹上有着很大的优势。

    Aug, 2019

  • DO3D: 自监督学习单目视频的分解目标感知 3D 运动和深度

    提出了一种自监督方法，可以从单目视频中联合学习 3D 运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态，进而改进了深度估计和 3D 动作估计的性能。

    Mar, 2024

  • 使用三维几何约束从单 ocular 视频中无监督学习深度和自我运动

    提出了一种新颖的无监督学习深度和自我运动的方法，它主要基于对场景的推断 3D 几何形状进行对齐，并与基于光度学营养和有效性掩模的 2D 损失相结合，最终得出在 KITTI 数据集上的优越结果。

    Feb, 2018

  • 使用多层蒙版进行单目深度和自我运动的无监督学习

    本文提出了一种新的基于单目视频多个掩模的无监督深度和自我运动学习方法，该方法通过几何关系过滤了不匹配的像素，提高了无监督学习的效率和准确性，并在 KITTI 数据集上表现良好。

    Apr, 2021

  • 无约束单目视频无监督深度估计的区域变形网络

    本文提出了一种新的基于学习的深度估计方法，由 DepthNet、PoseNet 和 Region Deformer Networks（RDN）组成，用于无约束单眼视频的深度估计，其核心贡献在于 RDN 对刚性和非刚性物体的适当处理，特别是提出了基于变形的运动表示来在 2D 图像上对个体运动建模，该表示使我们的方法适用于多样化和无约束的单眼视频，并分别在 KITTI 和 Cityscapes 基准测试以及人行追踪数据集上展示了非常好的结果。

    Feb, 2019

  • 自然场景视频中的深度估计：来自未知相机的无监督单目深度学习

    本研究提出了一种新的方法，使用相邻视频帧的一致性作为监督信号，同时从单目视频中学习深度预测、自运动、目标运动和相机内参数，并且首次实现对相机内参进行无监督学习，从而能够在任意未知来源的视频中提取准确的深度和运动信息。此方法在 Cityscapes、KITTI 和 EuRoC 数据集上验证了正确性，并取得了新的最佳性能。

    Apr, 2019