Oct, 2023

LROC-PANGU-GAN：用行星模拟器填补学习撞击坑分割的仿真缺口

PDF
TL;DR我们引入了一个系统来闭合真实环境与现有培训数据之间的 “真实性” 差距，同时保持标签的准确性。我们使用 CycleGAN 模型合成 LROC 和 PANGU 图像，结果表明这些改进了下游撞击坑分割网络的训练，与仅使用模拟的 PANGU 图像相比，真实 LROC 图像的分割性能得到提高。
发现论文，激发创造
  • RL-CycleGAN: 强化学习感知的模拟到真实领域的对抗生成网络

    本论文提出了基于深度神经网络的强化学习在机器人抓取任务中的应用，以及利用生成模型进行图像仿真与真实环境之间的过渡。其中引入了 RL-scene 一致性损失用于图像翻译，可保证翻译操作是不变的，并在实现无监督领域转换的同时，训练出了 RL-CycleGAN 模型，该模型表现出了模拟到现实环境下最优的效果。

    Jun, 2020

  • 使用 Segment Anything 模型（SAM）进行深度学习的通用陨石坑检测

    提出了一种基于 Segment Anything Model 的通用撞击坑检测方案，可以成功地在不同的数据类型（如原始卫星图像、DEM 等）、不同的设置（如月球，火星）和不同的捕获角度下识别撞击坑外观对象，并使用形状指标拟合椭圆恢复检测到的撞击坑的位置和大小 / 几何。

    Apr, 2023

  • 基于深度学习的陨石坑检测系统：综述

    该研究综述了基于深度学习的撞击坑检测算法的发展，讨论了撞击坑检测的挑战以及不同的算法类别，包括语义分割、目标检测和分类。研究还对在常见数据集上进行的语义分割算法的训练和测试进行了评估，并提出了未来研究的建议。

    Sep, 2023

  • 利用陨坑作为地标的月球车定位

    本文介绍了一种基于陨石坑的月球探测器定位技术，通过在轨数据重建陨石坑地图，并利用激光雷达和摄像机识别陨石坑地标，能够实现 5 到 10 米的定位精度。

    Mar, 2022

  • 从嫦娥五号中鲁棒的摄像机姿态探测撞击坑

    对含有斜视角度的图像中的撞击坑检测算法的性能进行了评估，结果表明在含有真实月球图像的预训练下，该算法具有较高的检测性能。同时提供了首个包含斜视角度图像的撞击坑检测算法数据集，以进一步发展更为稳健的算法。

    Jun, 2024

  • 自动驾驶中基于 GAN 的 LiDAR 传感器建模和数据增强

    通过 CycleGANs 从未配对的数据中进行图像转换，以实现从模拟 LiDAR 到真实 LiDAR（sim2real）的传感器建模，从低分辨率到高分辨率的真实 LiDAR（real2real）的生成以及使用鸟瞰图和极坐标 2D 表示法处理 LiDAR 3D 点云。实验结果表明，该方法具有很高的潜力。

    May, 2019

  • 基于 GAN 的激光雷达强度模拟

    开发自动驾驶中，真实车辆传感器模拟是重要的因素。我们提出利用基于数据的方法，使用来自实际测试驾驶的相机图像和 LiDAR 扫描数据训练生成对抗网络，实现相互翻译。通过添加分割数据和密集深度图像的相机图像，以及通过测试真实与合成点云之间物体检测网络的泛化效果评估 LiDAR 模拟性能，我们结合这两种方法，模拟并展示了真实的 LiDAR 点云。

    Nov, 2023

  • 基于逼真渲染的深度学习航天器姿态估计

    利用深度学习和逼真的渲染技术进行空间交会、对接和空间碎片清理中的六自由度姿态估计，通过提出一种面向方向软分类的深度学习框架，通过在 Unreal 引擎 4 上构建模拟器生成标注图像，且在欧洲航天局的姿态估计竞赛中取得了第三名和第二名的优异成绩。

    Jul, 2019

  • OmniLRS：月球机器人的逼真模拟器

    基于 Nvidia 的机器人模拟器，我们构建了一个基于 Isaac Sim 的月球模拟器，名为 Omniverse Lunar Robotic-Sim（OmniLRS）。该模拟器提供快速的程序化环境生成、多机器人能力以及机器学习应用的合成数据管道。通过我们的合成数据进行训练，yolov8 模型在实例分割方面表现接近于在真实数据上训练的模型，性能差距为 5%。在使用真实数据进行微调后，该模型的平均精度比在真实世界数据上训练的模型高 14%，证明了我们模拟器的真实感。

    Sep, 2023

  • 基于对比学习的自动驾驶系统激光雷达点云的仿真 - 到 - 真实映射框架

    该研究论文探讨了基于学习的模型在模拟环境中将 Lidar 点云数据转换成高质量真实数据的 Sim-to-Real 映射方法，并与图像转换方法进行了广泛的评估，结果表明基于对比学习的 CLS2R 框架在几乎所有度量指标上表现出优越性能。

    Dec, 2023