CroMo: 单目深度估计的跨模态学习

CVPRMar, 2022

CroMo: Cross-Modal Learning for Monocular Depth Estimation

Yannick Verdié, Jifei Song, Barnabé Mas, Benjamin Busam, Aleš Leonardis...

TL;DR本文提出了一种使用多模式相机组合极化、ToF 和结构光信号的深度预测方法，该方法使用可微的分析模型将场景几何与极化和 ToF 等信号连接起来，实现自监督和跨模态学习，在自定义的 CroMo 数据集上获得了优异的性能表现。

Abstract

Learning-based depth estimation has witnessed recent progress in multiple directions; from self-supervision using monocular video to supervised methods offering highest accuracy. Complementary to supervision, further boosts to performance and robustness are gained by combining informat

depth estimation multi-modal learning polarisation time-of-flight structured-light

发现论文，激发创造

P2D: 一种基于自监督的偏振深度估计方法

本文提出了一种基于极化成像的自监督单目深度学习网络，以利用色散不敏感的极化信息，提高深度估计结果，特别是对于高光区域。

Jul, 2020

具有有限数据的光度挑战物体的多模态六自由度姿态估计的偏振信息

利用极化信息的监督学习方法以及借助物理特性的自监督学习方法取得重要进展，通过利用极化光的几何信息和引入形状先验知识和可逆物理约束来提高姿态估计的准确性。

Aug, 2023

揭示深度：一种多模态融合框架用于挑战场景

本文提出了一种新颖的方法，通过学习框架，识别和整合主导的跨模态深度特征，独立计算粗略深度图，并使用置信度损失和多模态融合网络进行端到端的深度估计，从而在各种困难情景中展示了鲁棒的深度估计能力。

Feb, 2024

多模态神经辐射场对于带有轻量化 ToF 传感器的单目密集 SLAM

通过使用轻量级 ToF 传感器的信号，结合多模式隐式场景表示、粗糙到精细的优化策略和时间信息处理，该研究提出了一种用于相机追踪和稠密场景重建的稀疏光准测距技术，取得了良好的结果。

Aug, 2023

基于自我监督的事件驱动单目深度估计与跨模态一致性

提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth，利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程，并且在推理中仅使用事件进行单目深度预测，同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征，并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性，并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。

Jan, 2024

基于自监督学习的单目图像深度估计

这个研究探讨了如何通过使用卷积神经网络和其它技术来优化和扩展基于深度学习的深度估计模型，以提高相机获取的图像的三维深度感知的精度。

Apr, 2023

相对深度先验的偏振单目稠密建图

使用偏振相机和相对深度信息作为先验，通过全偏振信息提出一种在线重建方法，使稀疏的深度值能沿着等深度线传播，并在具有贫纹理特性的区域中提高深度图的密度和准确度。

Feb, 2021

学习透明与镜面表面的深度估计

通过神经网络学习适当估计透明或镜面表面的深度，无需任何真实标注，通过图像修复和处理得到可靠的伪标签，用于微调现有的单目或双目网络以学习处理透明或镜面表面，实验证实了我们提出的简单方法带来的显著改进。

Jul, 2023

MonoCD: 具备补充深度的单目三维物体检测

通过增加全局深度线索和利用多个深度线索之间的几何关系，提出的方法可以提高单眼三维对象检测的深度补充性，实现了最新性能并无需引入额外数据。

Apr, 2024

基于深度学习的单目深度估计：综述

该研究对基于深度学习的单张图像深度估计方法进行了调研，总结了常用的数据集、评价指标和不同的训练方式，并讨论了未来研究中的挑战和方向。

Mar, 2020