基于深度 Transformer 网络的舰载无人机单目姿态估计

Jun, 2024

基于深度 Transformer 网络的舰载无人机单目姿态估计

Deep Transformer Network for Monocular Pose Estimation of Ship-Based UAV

Maneesha Wickramasuriya, Taeyoung Lee, Murray Snyder

TL;DR通过深度 Transformer 网络，使用单目图像估计无人机相对于船舶的 6D 姿态，采用合成数据集和 2D 关键点标注，利用 Transformer 神经网络模型检测关键点并估计各个部位的 6D 姿态，并通过贝叶斯融合整合估计结果，在合成数据和实地飞行实验中测试，表明对于不同光照条件具有鲁棒性和准确性，位置估计误差分别为合成数据的船距离的约 0.8% 和实地飞行实验的船距离的约 1.0%，具有船舶自主无人机降落和导航的潜在应用。

Abstract

This paper introduces a deep transformer network for estimating the relative 6D pose of a unmanned aerial vehicle (UAV) with respect to a ship using monocular images. A synthetic dataset of ship images is created and annotated with 2D keypoints of multiple ship parts. A →

unmanned aerial vehicle 6d pose estimation transformer neural network bayesian fusion autonomous uav landing

发现论文，激发创造

DeepURL: 水下相对定位的深度姿态估计框架

本文提出一种基于深度学习的实时自主水下机器人单张图像 6D 相对位姿估计方法，采用基于图像转换的方法进行训练和预测，能够实现对自主水下机器人在不同环境下进行准确位姿的快速估算。

Mar, 2020

TransPose: 一个基于 Transformer 的六自由度物体姿态估计网络与深度修正

该研究提出了一种改进的基于 Transformer 的 6D 位姿估计方法 TransPose，它利用 RGB 图片作为输入，结合轻量级深度估计网络和变压器检测网络，并通过深度细化模块对位姿进行精度优化，在果树采摘应用方面取得了优于其他现有方法的效果。

Jul, 2023

基于逼真渲染的深度学习航天器姿态估计

利用深度学习和逼真的渲染技术进行空间交会、对接和空间碎片清理中的六自由度姿态估计，通过提出一种面向方向软分类的深度学习框架，通过在 Unreal 引擎 4 上构建模拟器生成标注图像，且在欧洲航天局的姿态估计竞赛中取得了第三名和第二名的优异成绩。

Jul, 2019

优化的深度神经网络在纳米无人机上的视觉姿态估计部署

通过使用深度神经网络进行视觉姿态估计任务的新型自动优化流程，本研究针对小型自主无人机的智能化实现提出了两种不同的神经架构搜索算法，采用一套新颖的软件核心，通过并行超低功耗的片上系统在现成的纳米无人机上执行关键深度神经网络层序列，成功提高了当前技术水平并将推理延迟降低高达 3.22 倍。

Feb, 2024

基于 Transformer 模型的单目视觉里程计：一种视频理解方法

利用基于自注意力机制的 TSformer-VO 模型，将单目视觉里程计作为视频理解任务，从视频片段中提取特征并通过端到端的方式估计摄像机的 6-DoF 位姿，取得了与基于几何和深度学习的方法相比具有竞争力的业内领先表现。

May, 2023

深度神经网络架构搜索，用于 Nano-UAV 上的精确视觉位姿估计

运用神经结构搜索技术 (NAS), 我们为视觉姿态估计任务自动确定了几个帕累托最优的卷积神经网络 (CNNs), 以适应小型 UAV 硬件限制的特点，展示了现实生活中多个 NAS 优化的 CNNs 可以在 27 克的 Crazyflie 纳米 UAV 上运行，并通过降低 32％的实地控制误差，具有实时的推断速率～10Hz@10mW 和～50Hz@90mW，从而进一步优化了 CNNs。

Mar, 2023

利用单目图像实时、适航、非合作航天器姿态估计

本文提出了一种基于卷积神经网络的单目位姿估计系统，结合基于 Blender 的合成数据生成方案，能够从纯合成训练数据泛化到北美洲猫头鹰飞船的真实空间图像，并在低功耗硬件上实现实时性。

Jan, 2021

用 Transformer 实现姿态作为查询：图像到 LiDAR 地图的定位

本研究提出一种新型的基于 Transformer 的神经网络，可以在 end-to-end 的情况下将 2D 图像注册到 3D LiDAR 地图中进行车辆定位，达到了一定的准确度和实用性。

May, 2023

无监督结构光变换

我们提出了一种基于鲁棒的 Transformer 的单目 SfM 方法，能够同时预测单目像素级深度、自车的平移和旋转、相机的焦距和主点，并且通过在 KITTI 和 DDAD 数据集上的实验，展示了如何适应不同的视觉 Transformer 并将其与当代基于 CNN 的方法进行比较。我们的研究表明，虽然基于 Transformer 的架构在运行时间效率上较低，但在面对自然的破坏、非目标攻击和有目标攻击时具有可比性的性能，并且更加稳健。

Dec, 2023

基于深度学习的单目航天器姿态估计调查：现状、局限和前景

本文综述了当前基于深度学习的航天器姿态估计方法，比较了混合模块化管道和直接端到端回归方法的算法，在姿态精度、网络架构和模型大小等方面进行了讨论，并探讨了用于训练和测试这些方法的现有单目航天器姿态估计数据集以及通过模拟器和实验室 / 空间照片生成的数据之间的差距和性能下降问题。

May, 2023