Mar, 2020

无指导深度、光流、姿态及遮挡的三维几何学学习

PDF
TL;DR该研究针对自动驾驶技术中单目序列所含信息研究了单目深度估计、相机自身运动估计和连续帧中的光流估计，并提出了基于三个区域模型、OCCLUSION 区域的完整显式分割以及相应的无监督学习方法， 显著提高了三项任务的性能。
发现论文，激发创造
  • 使用多层蒙版进行单目深度和自我运动的无监督学习

    本文提出了一种新的基于单目视频多个掩模的无监督深度和自我运动学习方法，该方法通过几何关系过滤了不匹配的像素，提高了无监督学习的效率和准确性，并在 KITTI 数据集上表现良好。

    Apr, 2021

  • 视频中的自监督物体运动和深度估计

    本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。

    Dec, 2019

  • 基于光流和伪深度图的密集单目运动分割：一种零样本方法

    我们提出了一种创新的混合方法，既利用深度学习方法又利用基于光流的传统方法来进行密集运动分割，而无需进行任何训练。

    Jun, 2024

  • 基于遮挡引导的自监督三维点云场景流量估计

    本文提出了一种新的自监督训练方法和架构，实现了三维场景流估计，优于传统的结构，包括多层融合技术在内的智能方法。研究结果在 Flyingthings3D 和 KITTI 数据集上均获得了监督和自监督训练的最新成果。

    Apr, 2021

  • 自我监督单目深度估计中动态区域的挖掘监督

    利用自我监督训练框架，将静态和动态区域的图像深度估计分离，通过伪深度标签改善动态场景的深度估计性能。

    Apr, 2024

  • 具备遮挡感知的光流无监督学习

    本文研究了卷积神经网络在无监督学习下学习光流预测的能力；提出了一种新的模型来显式模拟遮挡问题，并使用新颖的变换方式来更好地学习大运动；在 Flying Chairs，MPI-Sintel 和 KITTI 标准数据集上进行了测试，结果表明在 KITTI 数据集上无监督方法的效果优于有监督方法，尤其在该数据集上，我们的方法表现出色。

    Nov, 2017

  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020

  • 使用三维几何约束从单 ocular 视频中无监督学习深度和自我运动

    提出了一种新颖的无监督学习深度和自我运动的方法，它主要基于对场景的推断 3D 几何形状进行对齐，并与基于光度学营养和有效性掩模的 2D 损失相结合，最终得出在 KITTI 数据集上的优越结果。

    Feb, 2018

  • 使用通用网络进行视差、光流或场景流估计中的遮挡、运动和深度边界

    本文提出了一种基于学习的方法，可以联合估计离散或光流下的遮挡区域，通过估计遮挡和运动边界的线性提升结果，同时提供了基于 KITTI 基准测试的最新网络和良好的通用性能。而通过利用估计的遮挡，我们还展示了运动分割和场景流估计的改进结果。

    Aug, 2018

  • 动态物体的联合自监督深度和光流估计

    本研究提出了一种基于深度学习的深度估计方法，通过将光流信息与深度估计相结合，在预测不同运动情况下的深度时减小像素包裹误差和光学向量，利用自我监督深度估计方法对不同运动区域进行独立估计并组合为完整的深度，能够比 KITTI Depth 数据集上的现有深度估计器表现更好，同时在 KITTI Flow 2015 数据集上也达到了竞争性的光流性能。

    Sep, 2023