Nov, 2023

SPADES: 使用事件感知的逼真航天器姿态估计数据集

PDF
TL;DR近年来，对于在轨交会、对接和接近操作等自主性的需求不断增加，因此对基于深度学习的航天器姿态估计技术越来越感兴趣。然而，由于真实目标数据的获取有限，算法通常使用合成数据进行训练，并应用于实际领域，导致性能下降。最新的方法采用域自适应技术来缓解这个问题。在寻找可行解决方案的过程中，已经在过去研究中探索了事件感知，并证明了事件传感器可以减少模拟和真实世界场景之间的领域差距。事件传感器在硬件和软件方面近年来取得了显著进展。此外，与 RGB 传感器相比，事件传感器的特性在航天应用中提供了几个优势。为了进一步训练和评估基于深度学习的模型，我们介绍了一个新的数据集 SPADES，其中包含在受控实验室环境中获取的真实事件数据和使用相同相机内参的模拟事件数据。此外，我们提出了一种有效的数据过滤方法，以提高训练数据的质量，从而增强模型性能。此外，我们引入了一种基于图像的事件表示方法，优于现有的表示方法。我们对不同事件表示、事件过滤策略和算法框架进行了多方面的基准评估，并总结了结果。该数据集将在此 http URL 上提供。
autonomydeep learning-based spacecraft pose estimationdomain adaptationevent sensingspades dataset
发现论文，激发创造
  • SPEED+: 太空航天器姿态估计跨域差异的下一代数据集

    本文介绍了具有特定重点的下一代航天器姿态估计数据集，包括用于训练的 6 万个合成图像和由测试床拍摄的 9531 个具有准确和最大多样化姿态标签的硬件在环图像，旨在评估和比较基于合成图像训练的空间机器学习模型的鲁棒性。

    Oct, 2021

  • 事件相机数据集和模拟器：用于姿态估计、视觉里程计和 SLAM 的基于事件的数据

    介绍了 Dynamic and Active-pixel Vision sensor（简称 DAVIS）的特点及其在机器人技术和计算机视觉方面的潜在应用，同时公开了一组 DAVIS 数据集，旨在激发研究人员对于高速和高动态范围机器人技术和计算机视觉应用新算法的研究。

    Oct, 2016

  • SPARK: 利用空间环境知识的航天器识别

    本论文提出 SPARK 数据集作为一种新颖的空间物体多模态图像数据集，为太空态势感知中的物体识别做出了重要贡献，通过提供多种不同的轨道场景的感应条件，为空间环境下的目标识别、分类及检测算法的开发提供了具有挑战性的基准测试数据集。

    Apr, 2021

  • 生成用于导航和着陆的合成事件视觉数据集

    通过优化降落轨迹，在月球表面生成一系列逼真的图像，并利用事件相机模拟器将其转换为事件流，从而构建了包含事件流和运动场地真值数据的 500 个轨迹的数据集，旨在支持基于事件的太空航姿态重建问题的研究。

    Aug, 2023

  • 卫星姿态估计挑战赛：数据集、竞赛设计与结果

    该研究以卫星姿态估计数据集为基础，对基于单目视觉的方法进行分析，在对 48 名参赛者分析竞赛表现的基础上，探讨了卫星姿态估计问题的挑战和改进方向。

    Nov, 2019

  • 基于逼真渲染的深度学习航天器姿态估计

    利用深度学习和逼真的渲染技术进行空间交会、对接和空间碎片清理中的六自由度姿态估计，通过提出一种面向方向软分类的深度学习框架，通过在 Unreal 引擎 4 上构建模拟器生成标注图像，且在欧洲航天局的姿态估计竞赛中取得了第三名和第二名的优异成绩。

    Jul, 2019

  • 基于无监督领域自适应和三维引导损失组合的飞行器姿态估计

    本文研究了为使两个宇宙飞船相互导航而进行的宇宙飞船姿态估计任务，并应用三维数据模拟器提升数据可用性。进一步，提出了一种考虑三维结构的方法，以提高姿态估计管道的鲁棒性和应对数据源和目标域之间的差异。最终，该算法在 2021 年由欧洲航天局和斯坦福大学组织的姿态估计挑战赛中取得了第二名的成绩。

    Dec, 2022

  • 无人航天器图像的语义图像分割的合成数据

    我们提出了一种生成合成图像数据的方法，用于语义分割，为其他任务提供泛化能力，并提供由无人驾驶宇宙飞船的二维单眼图像组成的原型合成图像数据集，以便进一步研究自主空间飞行器汇合问题。我们在这些合成数据上展示了强的基准结果（Sørensen-Dice 系数为 0.8723），表明训练良好性能的图像分割模型对此任务是可行的，特别是如果目标航天器及其配置已知。

    Nov, 2022

  • SEVD：用于自身和固定交通感知的合成事件视觉数据集

    最近，事件驱动视觉传感器受到了自动驾驶应用的关注，因为传统的 RGB 相机在处理具有挑战性的动态条件时存在局限性。然而，现实世界和合成的事件驱动视觉数据集的可用性仍然有限。为了填补这一空白，我们提出了 SEVD，这是一种首个使用 CARLA 模拟器中的多个动态视觉传感器的多视点自我和固定感知合成的事件驱动数据集。数据序列记录在不同的光照条件（中午、夜间、黄昏）和天气条件（晴朗、多云、潮湿、多雨、雾霾）下进行，具有域漂移（离散和连续）。SEVD 跨越城市、郊区、乡村和高速公路场景，涵盖了各类物体（汽车、卡车、货车、自行车、摩托车和行人）。除了事件数据，SEVD 还包括 RGB 图像、深度图、光流、语义和实例分割，有助于全面了解场景。此外，我们使用最先进的事件驱动方法（RED，RVT）和基于帧的方法（YOLOv8）评估数据集的交通参与者检测任务，并提供基准标准进行评估。此外，我们进行实验评估合成事件驱动数据集的泛化能力。数据集可在此 https URL 获得。

    Apr, 2024

  • 跨域差异下的航天器姿态估计鲁棒多任务学习和在线微调

    该研究提出了 Spacecraft Pose Network v2（SPNv2），是一个多尺度的卷积神经网络，通过在合成图像上进行数据增强而联合训练，可以实现对具有不同视觉特征的图像域进行非合作卫星的姿态估计。与此同时，该研究还引入了 ODR（Online Domain Refinement）技术，通过自监督熵最小化来在线优化 SPNv2 的统一参数，进一步提高了网络在没有姿态标签和计算开销最小的情况下在目标图像领域的性能。

    Mar, 2022