ICCVSep, 2019

深度端到端匹配和细化用于时差自动调焦 RGB-D 模块

PDF
TL;DR本文提出了一种基于深度学习的框架，用于对移动 RGB 相机配备的飞行时间（ToF）传感器进行在线校准和对齐以及复杂误差校正。通过将 RGB 图像和 ToF 幅度图之间进行交叉模态光流估计以进行对齐，并通过一个改进的内核预测网络直接回归时间飞行深度进行深度精修。通过计算机图形学的方法，我们还合成了一个数据集，为数据的端到端训练提供更多丰富的信息。实验结果表明，本文提出的方法在 ToF 精修方面取得了最先进的效果。
mobile rgb camerastime-of-flight sensorsdepth sensingonline calibrationdeep learning
发现论文，激发创造
  • 利用单个 ToF 相机实现 RGB-D 级别的分割性能

    本研究使用红外和深度图像进行语义分割，通过多任务学习框架以深度特定卷积融合来自单个 ToF 相机的 IR 和深度模态，在汽车分割数据集上，我们展示了我们的方法与更昂贵的 RGB-D 方法的竞争力。

    Jun, 2023

  • RGB 引导的 ToF 成像系统：基于深度学习方法的综述

    本文全面回顾了与 RGB 引导的 ToF 图像相关的工作，包括网络结构、学习策略、评估指标、基准数据集和目标函数，并在广泛使用的基准数据集上对最先进的方法进行定量比较。最后，我们讨论了未来的趋势和进一步研究中的实际应用挑战。

    May, 2024

  • 野外豆腐：在挑战环境下通过 RGB 融合提高间接飞行时间深度的范围和质量

    本文提出了一种新的基于学习的端到端深度预测网络，该网络采用多步方法对噪声原始 I-ToF 信号以及 RGB 图像进行融合，以预测与 RGB 视点对齐的高质量远程深度图。在挑战性的现实场景中测试我们的方法，与基线方法相比，最终深度图的 RMSE 提高了 40% 以上。

    Dec, 2021

  • DELTAR：轻量级 ToF 传感器和 RGB 图像深度估计

    提出一种名为 DELTAR 的方法，通过结合彩色图像，使轻量级飞行时间（ToF）深度传感器具有测量高分辨率和准确深度的能力。

    Sep, 2022

  • 多模态神经辐射场对于带有轻量化 ToF 传感器的单目密集 SLAM

    通过使用轻量级 ToF 传感器的信号，结合多模式隐式场景表示、粗糙到精细的优化策略和时间信息处理，该研究提出了一种用于相机追踪和稠密场景重建的稀疏光准测距技术，取得了良好的结果。

    Aug, 2023

  • MIPI 2022 RGB+ToF 深度补全竞赛：数据集与报告

    本文介绍了包含五个跟新型图像处理和图像传感器算法相关的主题的 MIPI 挑战，着重介绍了 RGB+ToF 深度完成，在这个主题中，RGB 传感器和 ToF 传感器的数据融合被探究，为此我们提供了一个新数据集 TetrasRGBD。

    Sep, 2022

  • MIPI 2023 RGB+ToF 深度补全挑战：方法与结果

    该研究报告介绍了 RGB 图像和稀疏飞行时间（ToF）测量的深度完成竞赛的结果，比较了不同方法的准确性以及深度学习在该领域的应用。

    Apr, 2023

  • 基于 TOF-Stereo 融合的高分辨深度图

    通过 TOF - 立体相机配对的数据融合方法，提出了一种通过种子生长算法和 Bayesian 模型相结合的方法，以更高的分辨率提供精确的深度图，用于导航和其他机器人应用。

    Jul, 2021

  • DeepToF：即插即用的飞行时间成像多径干扰实时校正

    本文基于卷积神经网络和自编码器的方法，提出了不需要对相机进行修改即可校正多径干扰导致深度估计误差的技术，并通过大量数据的训练和模拟实验验证了该方法的可行性。

    May, 2018

  • RADU: 面向飞行时间 ToF 数据降噪的射线对齐深度更新卷积操作

    本文提出了一种迭代去噪方法，使用 2.5D 数据训练 3D 卷积操作以纠正点沿视角方向的位置，并使用自训练方法在标记数据稀缺的情况下在未标记的真实数据上进行训练，实验表明，该方法能够在多个数据集上胜过 SOTA 方法。

    Nov, 2021