ECCVApr, 2022

在线多传感器深度融合学习

PDF
TL;DR本文介绍了一种名为 SenFuNet 的深度融合方法，该方法通过在线学习传感器特定的噪声和异常值统计，并以在线方式将不同传感器的深度帧数据流合并。实验结果表明，相比传统方法和最近的在线深度融合方法，SenFuNet 的融合策略表现更好。多传感器的组合能够更好地处理异常值，并比单一传感器具有更精确的表面重建能力。
multi-sensor fusion3d reconstructioncomputer visionmachine learningmixed reality
发现论文，激发创造
  • 学习的语义多传感器深度图融合

    通过神经网络重建，将基于截断有符号距离函数的三维重建方法从多个方面进行了推广，包括语义信息的丰富、多传感器数据融合、场景去噪与完整以及专家系统整合。

    Sep, 2019

  • 神经融合：隐空间中的在线深度融合

    本文提出了一种新颖的在线深度图融合方法，该方法使用潜在特征空间学习深度图聚合，并通过附加的翻译器网络在场景表示和输出场景表示之间分离，该方法适用于处理高噪声等异常值，实验结果表明，与现有技术相比，在处理大量噪声和异常值的挑战性场景中获得了改进。

    Nov, 2020

  • OctNetFusion: 从数据中学习深度融合

    本研究提出了一种基于深度学习的方法来进行深度融合，可以更好的处理深度图像数据中的噪声和异常值，并能够完整地重建三维物体形态，并且能够填补穴洞，具有更好的性能表现。

    Apr, 2017

  • MFuseNet：学习多视角融合的鲁棒深度估计

    本研究提出了一种基于多视角视觉系统的方法， 使用低成本单目 RGB 相机获得准确的深度估计， 通过多张水平或垂直对齐的图像并利用新的启发式方法和鲁棒学习方法来融合多个代价体之间的数据以提高深度估计的性能，实验结果表明该方法优于传统的二帧立体匹配方法。

    Aug, 2021

  • RoutedFusion：学习实时深度地图融合

    本文提出了一种基于机器学习的实时深度图融合方法，使用 2D 深度路由网络和 3D 深度融合网络来预测非线性更新，处理传感器特定噪声和异常值，能更好地避免传统方法中的粗化伪影问题，在合成数据和真实数据中均取得了优于传统方法和相关方法的结果。

    Jan, 2020

  • 自主驾驶的单视图和多视图深度的自适应融合

    本文提出了一个鲁棒性评估基准来评估在各种嘈杂的相机位姿设置下深度估计系统，同时提出了一个自适应融合深度估计系统，通过动态选择两个分支之间的高置信度区域进行融合，以实现鲁棒和准确的深度估计。该方法在鲁棒性测试中优于现有的多视图和融合方法，并在挑战性基准（KITTI 和 DDAD）上实现了最先进的性能，假设具有准确的位姿估计。

    Mar, 2024

  • PointFusion：用于 3D 边界框估计的深度传感器融合

    使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

    Nov, 2017

  • 单目图像和稀疏雷达数据的深度估计

    利用深度神经网络，通过融合单眼图像和雷达数据点，探索实现更准确的深度估计。我们对来自不同角度的 RGB 图像和雷达测量的融合进行了全面的研究，并提出了一种基于观察结果的有效解决方案。在 nuScenes 数据集上的实验表明，我们的方法优于现有的融合方法，同时我们还提供了详细的剖析研究以展示我们的方法中各组成部分的有效性。

    Sep, 2020

  • RealNet：基于信息融合深度估计协同设计的优化物体检测方法在物联网中的应用

    本文提出了一种名为 RealNet 的混合结构，它采用信息融合的深度估计算法并将其与小型机器人的目标检测算法相结合，以提高单目视觉传感器下目标检测和深度估计的稳健性。该方法适用于移动平台，具有高实时性和强鲁棒性，并使用 ROS 进行实验。

    Apr, 2022

  • 揭示深度：一种多模态融合框架用于挑战场景

    本文提出了一种新颖的方法，通过学习框架，识别和整合主导的跨模态深度特征，独立计算粗略深度图，并使用置信度损失和多模态融合网络进行端到端的深度估计，从而在各种困难情景中展示了鲁棒的深度估计能力。

    Feb, 2024