Mar, 2024

CART: Caltech 野外空中 RGB - 热成像数据集

PDF
TL;DR本研究提供了首个在自然环境中进行航空机器人操作的公开 RGB - 热数据集。该数据集捕捉了美国大陆各种地形，包括河流、湖泊、海岸线、沙漠和森林，并包含了同步的 RGB、长波热、全球定位和惯性数据。此外，我们为自然环境常见的 10 个类别提供语义分割注释，以促进对逆境天气和夜间条件下鲁棒的感知算法的开发。利用该数据集，我们提出了热和 RGB - 热语义分割、RGB 到热图像转换和视觉惯性测程的新的具有挑战性的基准测试。通过使用最先进的方法进行广泛的实验并强调了我们的数据中面临的时间和地理领域变化所带来的挑战。数据集和附带的代码将在此 https 网址上提供。
rgb-thermal datasetaerial roboticsnatural environmentssemantic segmentationvisual-inertial odometry
发现论文，激发创造
  • PST900: RGB-Thermal 校准、数据集和分割网络

    本文提出在语义分割中使用基于学习的技术并支持长波红外成像 (LWIR) 技术，解决了 RGB - 热成像相机校准和数据集问题并比较表明使用我们的方法可以获得最佳的结果。

    Sep, 2019

  • 空间语义：卫星引导的热红外语义分割注释用于空中野外机器人

    利用卫星派生数据产品和机载全球定位和姿态估计，我们提出了一种自动为航空器捕获的热成像生成语义分割注释的新方法。通过结合热条件细化步骤和可视化基础模型，我们的方法可以使用低分辨率的卫星土地覆盖数据产生高精度的语义分割标签，并且相比于目前用于生成 RGB 成像注释的基于大型视觉 - 语言模型的零样本语义分割方法，我们的方法在性能上实现了 70-160% 的改善。

    Mar, 2024

  • 无人机在线自监督热水体分割

    我们提出了一种新的方法，通过利用纹理和运动信息作为监督信号，利用在线自监督的方式将 RGB 训练的水域分割网络适用于目标领域的航空热成像。这种新的热成像能力使得当前操作于临海环境中的自主航空机器人能够在夜间执行诸如可视导航、水深测量和流量跟踪等任务。我们的方法克服了稀少且难以获取的临海热成像数据导致传统的有监督和无监督方法无法应用的问题。在这项工作中，我们整理了第一个临近海域热成像航空数据集，证明了我们的方法优于在有限目标领域热成像数据上训练的全监督分割模型，并且在 Nvidia Jetson 嵌入式计算平台上展示了实时功能。本文代码和数据集将在此 https URL 上提供。

    Jul, 2023

  • LWIRPOSE：一种新型 LWIR 热图像数据集和基准

    通过建立一个拥有 2,400 张高质量 LWIR（热力红外）图像的独特 RGB - 热力几乎配对和注释的 2D 动作数据集，该研究论文介绍了一个有助于遮挡和其他挑战情景中动作估计的数据集，并对数据集上的先进动作估计方法进行了基准测试，展示了该数据集在促进动作估计方法发展中的潜力。

    Apr, 2024

  • 用于开发和基准测试主动视觉的数据集

    该论文使用真实影像，聚焦日常室内环境下机器人视觉任务的模拟，构建新的公共数据集。该数据集可用于机器人视觉任务中的物体检测、主动视觉模拟和基于深度学习的强化学习下的下一步动作预测。在使用数据集的过程中，作者发现现有物体检测研究最大的问题是机器人视角对物体尺度，遮挡和方向的影响。

    Feb, 2017

  • 可见光与热红外无人机跟踪：一个大规模基准和新基线

    本研究旨在构建一个高度多样化的可见热（RGB-T）无人机跟踪（VTUAV）基准，包括 500 个序列和 170 万帧对，以及设计了一个名为 Hierarchical Multi-modal Fusion Tracker (HMFT) 的新的 RGB-T 基准，该基准可以在各个级别上融合 RGB-T 数据。

    Apr, 2022

  • SynDrone – 城市场景下多模态无人机数据集

    为了解决现有数据集图片数量有限的问题，本文提出了一个包含图像和三维数据的多模态综合数据集，该数据集包含 28 类的像素级标注，并可用于深度网络架构的有效训练，结果表明其在合成数据和实际数据的适应方面具有良好的前景。

    Aug, 2023

  • MONET 数据集：记录于农村场景中的多模式无人机热成像数据集

    介绍了一个名为 MONET 的多模态数据集，用于研究目标物体在大规模变化和不同移动视角下的定位和行为理解问题，数据集包含包括人和车辆在内的热成像目标、轨迹信息和元数据，并通过评估九种物体检测算法，揭示了其中存在的挑战。

    Apr, 2023

  • ThermRad: 一个用于在挑战条件下进行稳健的三维物体检测的多模态数据集

    提出了一种新的多模态数据集 ThermRad，其中包含 3D LiDAR、4D 雷达、RGB 摄像头和热成像摄像头的数据，在恶劣气象条件下，通过融合 4D 雷达和热成像摄像头的 RTDF-RCNN 方法，有效提高了车辆、行人和骑行者的 3D 目标检测性能，为在恶劣气象和光照条件下的鲁棒性 3D 目标检测提供了新的途径。

    Aug, 2023

  • DIDLM：具有红外摄像头、深度摄像头、LiDAR 和 4D 毫米波雷达的全面多传感器数据集，用于 3D 地图在具有挑战性的场景中

    该研究提供了一个综合多传感器数据集，旨在挑战性室内外环境中进行 3D 地图制作。数据集包括红外相机、深度相机、LiDAR 和 4D 毫米波雷达的数据，提供了探索先进感知和制图技术的可能性。多种传感器数据的整合增强了在极端条件下（如雨、雪和不平整的道路表面）的感知能力。数据集还包括室内外以不同速度运行的交互式机器人数据，提供了逼真的背景环境。通过类似路线的 SLAM 比较，分析了不同复杂场景对各个传感器的影响。采用各种 SLAM 算法处理数据集，揭示了不同场景中算法性能的差异。总之，该数据集解决了特殊环境中数据稀缺的问题，促进了在极端条件下感知和制图算法的发展。利用包括红外、深度相机、LiDAR、4D 毫米波雷达和机器人交互的多传感器数据，该数据集推动了智能制图和感知能力的进步。我们的数据集可在此链接获取：https://example.com/dataset

    Apr, 2024