Aug, 2023

ThermRad: 一个用于在挑战条件下进行稳健的三维物体检测的多模态数据集

PDF
TL;DR提出了一种新的多模态数据集 ThermRad，其中包含 3D LiDAR、4D 雷达、RGB 摄像头和热成像摄像头的数据，在恶劣气象条件下，通过融合 4D 雷达和热成像摄像头的 RTDF-RCNN 方法，有效提高了车辆、行人和骑行者的 3D 目标检测性能，为在恶劣气象和光照条件下的鲁棒性 3D 目标检测提供了新的途径。
3d object detectionextreme weatherradar-thermal fusionmulti-modal datasetrtdf-rcnn
发现论文，激发创造
  • 双雷达：一种用于自动驾驶的双 4D 雷达多模态数据集

    雷达在自动驾驶环境感知方面相较于广泛采用的摄像头和 LiDAR 具有更强的适应性。本文介绍了一个新颖的大规模多模态数据集，首次同时捕获了两种类型的 4D 雷达，为进一步研究有效的 4D 雷达感知算法提供了支持。

    Oct, 2023

  • NTU4DRadLM：4D 雷达中心化多模态数据集用于定位和建图

    在这篇论文中，我们介绍了一个新的数据集，NTU4DRadLM，它同时包含了 6 种传感器：4D 雷达、热像仪、IMU、3D 激光雷达、视觉相机和实时定位 RTK GPS，具体设计用于 SLAM 任务，并提供了经过精调的真实轨迹和故意设计的闭环，以综合评估三种类型的 SLAM 算法。

    Sep, 2023

  • K-Radar：各种天气条件下自动驾驶 4D 雷达物体检测

    本文介绍了 KAIST-Radar 数据集，该数据集包含 4D Radar tensor 数据，并提供了附加的 Lidar、立体相机和 RTK-GPS 测量，用于提高雷达物体检测的准确性，该数据集包含逆境天气下的各类道路，提供了相关基准测试和神经网络，并证明了 4D Radar 更适合逆境天气条件下的物体检测。

    Jun, 2022

  • RGB-D 和热传感器融合：系统文献综述

    本文综述了 RGB-DT 多模态数据融合领域的最新研究进展，提供了细致的方法分类和技术评估，讨论了校准、热成像、三维重建以及特征和深度学习算法等方面，并探讨了该领域的挑战和未来发展方向。

    May, 2023

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • 视觉与毫米波雷达相遇：自动驾驶的三维物体感知基准

    传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合，然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集，包括 66K 个在不同行驶情景中同步并进行了校准的相机、雷达和激光雷达帧。与其他大规模自动驾驶数据集不同，我们的雷达数据以射频（RF）张量的格式呈现，包含了 3D 位置信息和时空语义信息。这种雷达格式可以使机器学习模型在相机和雷达之间交互和融合信息或特征后生成更可靠的物体感知结果。

    Nov, 2023

  • 光度挑战物体的多模态数据集采集

    本文介绍了一个用于增强现有的 3D 感知和 6D 物体姿态数据集的新注解和获取方法，通过机器人前向运动学、外部红外跟踪器和改进的校准和注解过程，提出了一个多模态传感器装置，据此创建了高精度的 3D 数据，有效克服了现有数据集的限制，并为 3D 视觉研究提供了宝贵的资源。

    Aug, 2023

  • DIDLM：具有红外摄像头、深度摄像头、LiDAR 和 4D 毫米波雷达的全面多传感器数据集，用于 3D 地图在具有挑战性的场景中

    该研究提供了一个综合多传感器数据集，旨在挑战性室内外环境中进行 3D 地图制作。数据集包括红外相机、深度相机、LiDAR 和 4D 毫米波雷达的数据，提供了探索先进感知和制图技术的可能性。多种传感器数据的整合增强了在极端条件下（如雨、雪和不平整的道路表面）的感知能力。数据集还包括室内外以不同速度运行的交互式机器人数据，提供了逼真的背景环境。通过类似路线的 SLAM 比较，分析了不同复杂场景对各个传感器的影响。采用各种 SLAM 算法处理数据集，揭示了不同场景中算法性能的差异。总之，该数据集解决了特殊环境中数据稀缺的问题，促进了在极端条件下感知和制图算法的发展。利用包括红外、深度相机、LiDAR、4D 毫米波雷达和机器人交互的多传感器数据，该数据集推动了智能制图和感知能力的进步。我们的数据集可在此链接获取：https://example.com/dataset

    Apr, 2024

  • 从任何地方借用：热成像伪多模态目标检测

    本文中，我们提出使用基于图像域数据训练的伪多模态对象检测器，在热成像中改善对象检测的性能，并指出我们的框架优于现有的基准，并具有在使用我们的方法时以更少的热成像数据进行学习的能力。

    May, 2019

  • 通过热红外与毫米波雷达融合，在视觉退化下实现强韧的人体检测

    本文介绍了一种多模式人体检测系统，结合了便携式热成像相机和单芯片毫米波雷达。为了减轻热成像相机低对比度和雷达点云多路径噪声引起的检测特征噪声，我们提出了一种贝叶斯特征提取器和一种新颖的不确定性引导融合方法，超过各种竞争方法，无论是单模式还是多模式。我们在真实数据收集上评估了所提出的方法，并证明了我们的方法在性能上大幅优于现有技术方法。

    Jul, 2023