Apr, 2024

自主水面车辆水中物体的多模态感知数据集

PDF
TL;DR该研究介绍了第一个公开可用的多模态感知数据集，针对自主海洋导航中的水中障碍物，以增强自主水面车辆的情境感知。该数据集包括了不同环境条件下遇到的各种物体，并旨在通过提供多模态、带注释的、自我的感知数据集来填补海洋机器人学研究的空白，以进行物体检测和分类。我们还展示了该数据集框架的适用性，使用已经取得成功的基于深度学习的开源感知算法。我们期望我们的数据集将有助于海洋自主管道和海洋机器人技术的发展。请注意，这是我们正在进行的研究的一篇进行性论文，我们计划通过未来的出版物来完整发布。
multi-modal perception datasetautonomous maritime navigationin-water obstaclesautonomous surface vehiclesmarine autonomy pipeline
发现论文，激发创造
  • WaterScenes：一个用于自主水面驾驶的多任务 4D 雷达 - 相机融合数据集和基准

    本研究提出了 WaterScenes 数据集，其基于多任务 4D 雷达和单目相机融合技术，针对典型静态和动态水上物体进行标记，并提供了各种感知任务的注释，结果表明，4D 雷达相机融合能够极大地提高水上物体在恶劣光照和天气条件下的感知的稳健性。

    Jul, 2023

  • 光度挑战物体的多模态数据集采集

    本文介绍了一个用于增强现有的 3D 感知和 6D 物体姿态数据集的新注解和获取方法，通过机器人前向运动学、外部红外跟踪器和改进的校准和注解过程，提出了一个多模态传感器装置，据此创建了高精度的 3D 数据，有效克服了现有数据集的限制，并为 3D 视觉研究提供了宝贵的资源。

    Aug, 2023

  • 自主驾驶的深度多模态物体检测和语义分割：数据集、方法和挑战

    本文介绍了最近在深度学习领域取得的自主驾驶感知技术。对于实现强大而准确的场景理解，自动驾驶车辆通常配备多种传感器 (例如相机、激光雷达、雷达)，并且可以将多种感知模式融合以利用它们的互补性。然而，网络架构设计方面缺乏通用指导方针，关于 “何时融合” 和 “如何融合” 等问题仍然存在争议。本文系统地总结了方法学和讨论了自主驾驶中深度多模式对象检测和语义分割的挑战。

    Feb, 2019

  • AmodalSynthDrive：用于自动驾驶的合成异模感知数据集

    通过引入 AmodalSynthDrive 数据集，本研究解决了自动驾驶中因缺乏合适的数据集而无法利用该数据集的问题，并支持多种 amodal 场景理解任务，包括引入的增强空间理解的 amodal 深度估计。

    Sep, 2023

  • 自动驾驶中的多模态 3D 物体检测：一项综述

    本文介绍了自动驾驶所使用的流行传感器、它们的数据性质以及相应的目标检测算法。还讨论了用于评估多模态 3D 目标检测算法的现有数据集。接着对基于多模态融合的 3D 检测网络进行了回顾，并介绍了它们的融合阶段、融合输入和融合粒度以及这些设计选择如何随着时间和技术而演变。最后讨论了面临的挑战以及可能的解决方案。希望本文能帮助研究人员了解多模态 3D 目标检测领域并进行相关研究。

    Jun, 2021

  • aiMotive Dataset：具有远程感知的强健自动驾驶多模态数据集

    该研究介绍了一个多模态数据集，其中包括雷达、相机和激光雷达，以提高自主驾驶汽车的稳健性和长程感知并训练 3D 物体检测模型，并在 GitHub 上提供数据。

    Nov, 2022

  • CoPeD - 推进多机器人协同感知：一个实际环境中的综合数据集

    过去十年中，虽然单一机器人感知取得了重大进展，但多机器人协同感知的研究仍未被广泛探索。本文提出了一个开创性的全面真实世界的多机器人协同感知数据集，用于推动这一领域的研究。我们的数据集利用了空中 - 地面机器人协同的未发掘潜力，具有不同的空间视角、互补的机器人移动性、覆盖范围和传感器模态。它提供了原始传感器输入、姿态估计和可选的高级感知注释，以适应各种研究兴趣。与现有主要设计用于同时定位和地图构建（SLAM）的数据集相比，我们的设置确保了多样化的传感器视角范围和足够的重叠以促进多机器人协同感知算法的研究。我们通过多个协同感知任务定性地证明了这个数据集的价值。我们相信这项工作将在多模态协同感知中解锁高级场景理解的潜在研究。

    May, 2024

  • 基于深度学习的海上无人机影像目标检测：综述与实验比较

    利用海洋无人机进行目标检测的深度学习技术在海洋工程和海洋行业的应用越来越重要。本文综述了海洋无人机目标检测面临的挑战、相关方法以及无人机航拍数据集，并提出了一个名为 MS2ship 的海洋无人机航拍数据集用于船只检测。通过一系列实验评估和鲁棒性分析，论文展示了这些目标检测方法在海洋数据集上的性能，并对未来的海洋无人机目标检测工作进行了讨论和展望。

    Nov, 2023

  • 机器人拾取水下物体检测数据集和基准

    通过引入数据集 DUO 和相应的基准，我们解决了测试集注释缺乏、数据集存在其他缺陷和没有统一基准等几个挑战，这可用于学术研究和实际工业应用中对 SOTAs（使用 MMDtection 框架）进行效率和准确率的指标评估，并使用 JETSON AGX XAVIER 来评估探测器速度以模拟机器人嵌入式环境。

    Jun, 2021

  • 水下图像的语义分割：数据集与基准测试

    本文介绍了第一个大规模的海底图像语义分割数据集 SUIM，包含八个对象类别的 1500 多张图像像素注释，并介绍一个性能和计算效率平衡的全卷积编码解码模型 SUIM-Net 以及其在海底机器人视觉引导方面的应用。

    Apr, 2020