May, 2024

RGB 引导的 ToF 成像系统：基于深度学习方法的综述

PDF
TL;DR本文全面回顾了与 RGB 引导的 ToF 图像相关的工作，包括网络结构、学习策略、评估指标、基准数据集和目标函数，并在广泛使用的基准数据集上对最先进的方法进行定量比较。最后，我们讨论了未来的趋势和进一步研究中的实际应用挑战。
rgb guided tof imagingdepth quality improvementdeep learningnetwork structuresbenchmark datasets
发现论文，激发创造
  • 深度端到端匹配和细化用于时差自动调焦 RGB-D 模块

    本文提出了一种基于深度学习的框架，用于对移动 RGB 相机配备的飞行时间（ToF）传感器进行在线校准和对齐以及复杂误差校正。通过将 RGB 图像和 ToF 幅度图之间进行交叉模态光流估计以进行对齐，并通过一个改进的内核预测网络直接回归时间飞行深度进行深度精修。通过计算机图形学的方法，我们还合成了一个数据集，为数据的端到端训练提供更多丰富的信息。实验结果表明，本文提出的方法在 ToF 精修方面取得了最先进的效果。

    Sep, 2019

  • 利用单个 ToF 相机实现 RGB-D 级别的分割性能

    本研究使用红外和深度图像进行语义分割，通过多任务学习框架以深度特定卷积融合来自单个 ToF 相机的 IR 和深度模态，在汽车分割数据集上，我们展示了我们的方法与更昂贵的 RGB-D 方法的竞争力。

    Jun, 2023

  • 野外豆腐：在挑战环境下通过 RGB 融合提高间接飞行时间深度的范围和质量

    本文提出了一种新的基于学习的端到端深度预测网络，该网络采用多步方法对噪声原始 I-ToF 信号以及 RGB 图像进行融合，以预测与 RGB 视点对齐的高质量远程深度图。在挑战性的现实场景中测试我们的方法，与基线方法相比，最终深度图的 RMSE 提高了 40% 以上。

    Dec, 2021

  • 多模态神经辐射场对于带有轻量化 ToF 传感器的单目密集 SLAM

    通过使用轻量级 ToF 传感器的信号，结合多模式隐式场景表示、粗糙到精细的优化策略和时间信息处理，该研究提出了一种用于相机追踪和稠密场景重建的稀疏光准测距技术，取得了良好的结果。

    Aug, 2023

  • MIPI 2023 RGB+ToF 深度补全挑战：方法与结果

    该研究报告介绍了 RGB 图像和稀疏飞行时间（ToF）测量的深度完成竞赛的结果，比较了不同方法的准确性以及深度学习在该领域的应用。

    Apr, 2023

  • MIPI 2022 RGB+ToF 深度补全竞赛：数据集与报告

    本文介绍了包含五个跟新型图像处理和图像传感器算法相关的主题的 MIPI 挑战，着重介绍了 RGB+ToF 深度完成，在这个主题中，RGB 传感器和 ToF 传感器的数据融合被探究，为此我们提供了一个新数据集 TetrasRGBD。

    Sep, 2022

  • 基于 TOF-Stereo 融合的高分辨深度图

    通过 TOF - 立体相机配对的数据融合方法，提出了一种通过种子生长算法和 Bayesian 模型相结合的方法，以更高的分辨率提供精确的深度图，用于导航和其他机器人应用。

    Jul, 2021

  • TöRF：用于动态场景视图合成的飞行时间辐射场

    本研究提出了一种基于连续波 ToF 相机的神经表征模型，改进了动态场景的重建质量及鲁棒性，讨论了将 RGB+ToF 传感器集成到现代智能手机上的益处和局限性。

    Sep, 2021

  • DELTAR：轻量级 ToF 传感器和 RGB 图像深度估计

    提出一种名为 DELTAR 的方法，通过结合彩色图像，使轻量级飞行时间（ToF）深度传感器具有测量高分辨率和准确深度的能力。

    Sep, 2022

  • 极具高效能的神经时飞

    该论文提出了一种学习方法，通过专用 ToF 相机收集的数据集，能够实现低曝光时间下的高效率深度图像获取，从而解决传统 ToF 相机的能耗和性能之间的矛盾。

    Dec, 2018