IJCAIFeb, 2019

无约束单目视频无监督深度估计的区域变形网络

PDF
TL;DR本文提出了一种新的基于学习的深度估计方法，由 DepthNet、PoseNet 和 Region Deformer Networks（RDN）组成，用于无约束单眼视频的深度估计，其核心贡献在于 RDN 对刚性和非刚性物体的适当处理，特别是提出了基于变形的运动表示来在 2D 图像上对个体运动建模，该表示使我们的方法适用于多样化和无约束的单眼视频，并分别在 KITTI 和 Cityscapes 基准测试以及人行追踪数据集上展示了非常好的结果。
learning-based depth estimationmonocular videosregion deformer networksdeformation-based motion representationunconstrained scenarios
发现论文，激发创造
  • RM-Depth：动态场景下基于循环结构的单目深度非监督学习

    该论文提出了一种无监督学习框架，通过使用逐步的递归调整和融合编码器和解码器特征来提高单张图像的深度推断，并使用多组滤波器用于残差上采样来学习保持边缘的滤波，使用基于自运动恢复的网络来估计移动对象的移动场，并进一步通过采用鲁棒训练损失对模型中参数的使用进行优化，该模型结构只使用单张图像在测试时间中，模型参数仅有 2.97 百万个，但却在 KITTI 和 Cityscapes 基准测试中实现了最先进的结果。

    Mar, 2023

  • 基于递归神经网络的单目视觉里程计和深度（非）监督学习

    本研究提出了一种利用循环神经网络和多视图图像重投影以及前向 - 后向流一致性损失来训练的学习型多视图稠密深度地图和里程计估计方法，可用于视频的深度和视觉里程计估计，产生优于现有技术的单视图和多视图深度估计结果。

    Apr, 2019

  • 自我监督单目深度估计中动态区域的挖掘监督

    利用自我监督训练框架，将静态和动态区域的图像深度估计分离，通过伪深度标签改善动态场景的深度估计性能。

    Apr, 2024

  • UnDEMoN 的更深入了解：深度和自我运动估计的非监督深度网络

    本文提出一种基于无监督深度学习框架 UnDEMoN，用于直接从单目图像中确定密集深度图和 6 自由度相机姿态信息的方法。我们通过引入一个新的目标函数，同时最小化空间和时间重建损失，使用双线性采样核定义这些损失，并使用 Charbonnier 惩罚函数进行惩罚，提高了深度和自我运动估计的性能。我们的方法不需要进行粗到细的策略，提高了估计的准确性，并与现有的有监督和无监督方法在 KITTI 驾驶数据集上进行了性能比较。

    Aug, 2018

  • Dynamo-Depth：修复动态场景的无监督深度估计

    Dynamo-Depth 是一种基于未标记单目视频筛选的三维独立光流场和运动分割的联合学习的方法，通过解决动态场景下深度估计的不确定性问题，实现了在 Waymo Open 和 nuScenes 数据集上单目深度估计的最新成果，特别在移动物体的深度上有显著改进。

    Oct, 2023

  • GDR-Net: 基于几何引导的单目 6D 物体位姿估计直接回归网络

    本研究比较了直接和间接方法，提出了一种几何引导的直接回归方法（GDR-Net）来从几何表示学习 6D 位姿，结果显示我们的方法在 LM, LM-O 和 YCB-V 数据集上显著优于现有的最先进技术

    Feb, 2021

  • 基于单目视频的通用非刚性三维重建的根姿态分解

    基于单目 RGB 视频序列的、非刚性物体的三维重建，通过 Root Pose Decomposition（RPD）方法，实现了对具有大变形、复杂运动模式、遮挡和不同个体尺度差异的复杂场景下物体的三维重建。

    Aug, 2023

  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020

  • MVDepthNet: 实时多视角深度估计神经网络

    本文提出 MVDepthNet，在多视图深度估计中编码多视图观察信息，并结合参考图像使用编码器 - 解码器网络生成深度图，并在单目密集映射系统中应用，实现了高效准确的深度图生成。

    Jul, 2018

  • DeMoN: 用于学习单目立体视觉深度和运动的深度和运动网络

    该论文将运动结构问题建模为学习问题，使用卷积网络端到端地训练连续、无约束图像对的深度和相机运动，采用多层叠加的编码器 - 解码器网络。与传统的两帧结构运动方法相比，结果更加精确、更强韧。

    Dec, 2016