ECCVJul, 2020

自监督单目深度估计：通过语义引导解决动态物体问题

PDF
TL;DR本文提出了一种自主引导的语义深度估计方法（SGDepth），通过交叉域训练避免移动车辆和行人等动态类别对象对深度标签的干扰，利用异构网络头进行语义分割和深度估计，采用语义遮罩机制预防动态物体的污染，并引入一种检测算法学习移动类别对象的深度。通过在多个数据集上评估验证了该方法的性能。
self-supervised monocular depth estimation3d scene informationsemantically-guided depth estimationmoving dynamic-class objectsmutually beneficial cross-domain training
发现论文，激发创造
  • 自我监督单目深度估计中动态区域的挖掘监督

    利用自我监督训练框架，将静态和动态区域的图像深度估计分离，通过伪深度标签改善动态场景的深度估计性能。

    Apr, 2024

  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020

  • 视频中的自监督物体运动和深度估计

    本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。

    Dec, 2019

  • 自监督单目深度的语义引导表示学习

    本文研究自监督学习中如何直接运用语义结构来指导几何表示的学习，提出了一种新的基于预训练语义分割网络和像素自适应卷积的架构，并使用两阶段训练过程来克服动态对象上的常见语义偏差。结果表明该方法在所有像素、细节和语义类别上都优于现有方法，实现了自监督单目深度预测的最新水平。

    Feb, 2020

  • 利用自监督深度估计提高语义分割的三种方法

    提出了一种半监督语义分割的框架，采用自监督单目深度估计和利用场景几何形状强数据扩增的方式，结合深度特征差异和难度级别，通过学生 - 教师框架选择最有用的样本进行语义分割的注释，实现了在 Cityscapes 数据集上半监督语义分割的最好结果。

    Dec, 2020

  • 借助自监督深度估计改进半监督和领域自适应语义分割

    本文提出了一种半监督和领域自适应的语义分割框架，它利用自监督单目深度估计（SDE）来增强。该框架采用 SDE 作为辅助任务，通过选择最有用的样本、实现数据增强、转移 SDE 学习到的特征以及利用 Cross-Domain DepthMix 和 Match Geometry Sampling 来利用额外的标记合成数据与真实数据对齐，同时在 Cityscapes 数据集上进行了验证，并获得了半监督语义分割和半监督领域适应的最先进结果。

    Aug, 2021

  • 基于隐式线索的深度估计自监督联合学习框架

    本研究提出了一种利用单目和立体相机视频中的连续帧进行深度估计的自监督联合学习框架，其中使用了隐式深度线索提取器来利用动态和静态线索产生有用的深度建议，并通过引入高维注意力模块来提取清晰的全局变换。实验证明，所提出的框架在 KITTI 和 Make3D 数据集上优于现有技术。

    Jun, 2020

  • $S^3$Net：基于语义感知的自监督单目视频和合成数据深度估计

    本文介紹了一種自監督學習的深度估計方法，在使用合成數據和真實數據訓練的同時，利用幾何、時間和語義約束，實現了單目視頻深度估計的新的最先進技術，相較其他自監督和合成方法提高了 15% 到 10% 不等。

    Jul, 2020

  • 自监督单目深度估计的细粒度语义感知表示增强

    本文提出了在无监督单目深度估计中引入跨域语义信息以提高几何表示的新思路，包括度量学习方法和特征融合模块，并在 KITTI 数据集上全面评估，在弱质地区和物体边界的监督限制下，本文提出的方法优于现有技术。

    Aug, 2021

  • 无监督多帧单目深度的物体运动和遮挡分离

    这篇论文提出了一种自动学习的多帧单目深度预测方法 DynamicDepth，通过自补丁一致性学习方案训练一个新的框架，其中进行了动态物体运动分离来解决匹配问题，并设计了新型的遮挡感知代价卷积和复投影代价来减轻物体运动对遮挡的影响，实验证明该方法在动态物体方面显著优于现有的单目深度预测方法。

    Mar, 2022