ECCVMar, 2022

无监督多帧单目深度的物体运动和遮挡分离

PDF
TL;DR这篇论文提出了一种自动学习的多帧单目深度预测方法 DynamicDepth，通过自补丁一致性学习方案训练一个新的框架，其中进行了动态物体运动分离来解决匹配问题，并设计了新型的遮挡感知代价卷积和复投影代价来减轻物体运动对遮挡的影响，实验证明该方法在动态物体方面显著优于现有的单目深度预测方法。
self-supervisedmonocular depth predictiondynamic scenesobject motionscycle consistent learning
发现论文，激发创造
  • DO3D: 自监督学习单目视频的分解目标感知 3D 运动和深度

    提出了一种自监督方法，可以从单目视频中联合学习 3D 运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态，进而改进了深度估计和 3D 动作估计的性能。

    Mar, 2024

  • 视频中的自监督物体运动和深度估计

    本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。

    Dec, 2019

  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020

  • Dynamo-Depth：修复动态场景的无监督深度估计

    Dynamo-Depth 是一种基于未标记单目视频筛选的三维独立光流场和运动分割的联合学习的方法，通过解决动态场景下深度估计的不确定性问题，实现了在 Waymo Open 和 nuScenes 数据集上单目深度估计的最新成果，特别在移动物体的深度上有显著改进。

    Oct, 2023

  • 基于隐式线索的深度估计自监督联合学习框架

    本研究提出了一种利用单目和立体相机视频中的连续帧进行深度估计的自监督联合学习框架，其中使用了隐式深度线索提取器来利用动态和静态线索产生有用的深度建议，并通过引入高维注意力模块来提取清晰的全局变换。实验证明，所提出的框架在 KITTI 和 Make3D 数据集上优于现有技术。

    Jun, 2020

  • DS-Depth: 动态和静态深度估计通过融合代价体积

    我们提出了一种新颖的自监督单眼深度估计方法，使用动态成本体积来处理静态环境中的移动物体，通过静态和动态成本体积互补来改善深度图的准确性，并采用金字塔蒸馏损失和自适应光度误差损失来提高精度。实验证明，我们的模型在自监督单眼深度估计方面优于先前发布的基线模型。

    Aug, 2023

  • 关注和对比学习的联合深度和运动场估计

    通过一种自监督学习框架，提出一种基于动态关注模块的两阶段投影管道，以明确解耦相机自我运动和物体运动，并提出了一种基于对比采样一致性的物体运动场估计方法，该方法在自监督单目深度估计、物体运动分割、单目场景流估计和视觉里程表任务上均优于现有的最先进算法。

    Oct, 2021

  • 基于运动深度的单眼三维物体检测

    通过研究基于单目输入的三维物体感知，提出了一种利用相机自运动提供的强几何结构进行精确物体深度估计和检测的方法，并建立了一个名为 “DfM” 的框架，成功地提高了 KITTI 基准数据集上的检测性能。

    Jul, 2022

  • FlowDepth: 光流与自监督单目深度估计的解耦

    通过动态的运动流模块及深度感知模糊和成本体积稀疏损失，在自我监督多帧方法中解决了深度估计中的运动物体、光流和光度误差问题，并在实验中表现出超越其他方法的性能。

    Mar, 2024

  • 自监督单目深度估计：通过语义引导解决动态物体问题

    本文提出了一种自主引导的语义深度估计方法（SGDepth），通过交叉域训练避免移动车辆和行人等动态类别对象对深度标签的干扰，利用异构网络头进行语义分割和深度估计，采用语义遮罩机制预防动态物体的污染，并引入一种检测算法学习移动类别对象的深度。通过在多个数据集上评估验证了该方法的性能。

    Jul, 2020