Apr, 2023

探索自监督单帧与多帧深度估计之间的相互影响

PDF
TL;DR提出了一个新的自监督训练框架来充分利用单帧和多帧深度方法之间的相互影响，其中包括像素适应深度采样模块、最小重投影教师信号以及将单帧深度作为先验来进一步提高多帧深度估计性能。实验结果表明，该方法在自监督的单目设置中优于现有方法。
self-superviseddepth estimationsingle-framemulti-framemonocular
发现论文，激发创造
  • 从单目视频序列中学习深度

    从单目视频序列中学习单张图像深度估计模型是一个非常具有挑战性的问题。在本文中，我们提出了一种新颖的训练损失，使我们能够在训练过程中包含更多图像以进行监督。我们提出了一个简单而有效的模型来考虑帧与帧之间的像素运动。同时，我们还设计了一种新颖的网络架构来进行单张图像估计。当结合在一起时，我们的方法在自监督设置下，在 KITTI 数据集上产生了最先进的结果。

    Oct, 2023

  • 时间机会主义者：自监督多帧单目深度

    提出 ManyDepth，一种自适应的、可以在测试时间利用序列信息的深度估计方法，通过深度自监督训练基于端到端代价体系积攒的方法，鼓励网络忽略不可靠的代价体以及针对静态相机场景的增强方案。实验证明此方法在 KITTI 和 Cityscapes 上表现优于其他单帧和多帧的自监督基线模型。

    Apr, 2021

  • FusionDepth: 用代价体积补充自监督单目深度估计

    本篇论文提出了一个基于多帧深度估计的框架，使用连续的多帧约束不断优化单目深度估计，利用贝叶斯融合层进行多帧深度估计的迭代，同时不需要深度监督训练。实验结果表明，该方法在 KITTI 基准测试中，相较于单个帧或多个帧的无监督方法，取得了更好的性能。

    May, 2023

  • 基于隐式线索的深度估计自监督联合学习框架

    本研究提出了一种利用单目和立体相机视频中的连续帧进行深度估计的自监督联合学习框架，其中使用了隐式深度线索提取器来利用动态和静态线索产生有用的深度建议，并通过引入高维注意力模块来提取清晰的全局变换。实验证明，所提出的框架在 KITTI 和 Make3D 数据集上优于现有技术。

    Jun, 2020

  • 自监督单目深度估计探究

    该论文提出了一种改进的自监督学习方法，包括最小 reprojection 损失、全分辨率多尺度采样和自动屏蔽损失，以实现单眼深度估计。研究结果表明，该方法能够在 KITTI 基准测试上达到业界领先的结果。

    Jun, 2018

  • 基于 Transformer 的多帧自监督深度学习

    本研究提出了使用特征匹配和转换器架构进行单目自监督深度估计的新方法，通过使用深度离散化的极线采样选择匹配候选项，并通过一系列的自注意力和交叉注意力层来改进预测。该方法可以从视频中单独训练，从而建立自监督单目深度估计的最新技术，并具有一定的泛化性能.

    Apr, 2022

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 自监督学习的深度和运动在光度不一致下的训练

    本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法，该方法不需要基础数据的支持，增加了更强的几何量和时间图像序列内部一致性的约束条件，能够显著提高单目图像序列深度和相对姿态估计的性能。

    Sep, 2019

  • Refine and Distill: 利用循环不一致性和知识蒸馏进行无监督单目深度估计

    提出了一种基于自监督深层模型的新型单目深度估计框架，其中包括通过反向循环模型进行的深度估计网络优化、信息蒸馏等策略。此框架在 KITTI 基准测试中表现出良好的性能，胜过了目前的非监督方法。

    Mar, 2019

  • 自监督实例适应的单目深度估计

    本文介绍了一种新方法，可将任何现成的自我监督的单目深度重建系统扩展到在测试时使用多个图像。该方法利用自我监督来提高多个视图可用时深度重建的准确性，在 KITTI 基准测试中，我们的自我监督方法在常见的三种设置（单目、立体和单目 + 立体）下平均减少绝对误差 25％，并在准确性上接近完全受监督的最先进方法。

    Apr, 2020