深度无人机赛车：学习在动态环境中敏捷飞行

Jun, 2018

深度无人机赛车：学习在动态环境中敏捷飞行

Deep Drone Racing: Learning Agile Flight in Dynamic Environments

Elia Kaufmann, Antonio Loquercio, Rene Ranftl, Alexey Dosovitskiy, Vladlen Koltun...

TL;DR利用卷积神经网络直接映射原始图像到航点和所需速度的强鲁棒性生成，使用路径规划和控制系统生成短的、最小时间轨迹段，测试表明该方法能够在动态环境中准确和稳健地实现无人机的自主飞行，不需要昂贵的硬件和昂贵的图像处理，且比专业的人类驾驶员更加高效。

Abstract

autonomous agile flight brings up fundamental challenges in robotics, such as coping with unreliable state estimation, reacting optimally to dynamically changing environments, and coupling perception and action i

autonomous agile flight robotics vision-based drone racing convolutional neural network path-planning

发现论文，激发创造

深度无人机比赛：从模拟到现实中的域随机化

我们将最先进的规划和控制系统与卷积神经网络相结合，实现了自主机器人在动态环境中的高速飞行和对感知目标的实时认识，无需进行任何调整，同时通过领域随机化生成大量的模拟数据，使我们的系统对光照和目标出现变化具有鲁棒性，实现了在敏捷无人机飞行任务中的零次模拟到实际的成功展示。

May, 2019

美女与野兽：最优方法与学习相遇于无人机竞速

本研究提出了一种基于全局轨迹布局及卷积网络预测与卡尔曼滤波融合的方法，重点解决自主微型飞行器的难以精确的导航、环境不确定以及姿态估计误差等问题，成功应用于 IROS2018 无人机比赛中并取得优异成绩。

Oct, 2018

基于视觉的自主无人机赛车的深度感觉运动策略学习

通过学习深度的感知动作策略，使用对比学习从输入图像中提取固定特征表示，通过两阶段的作弊式学习框架训练神经网络策略，将视觉驱动的自主无人机竞赛问题转化为了提取原始图像的特征表示进行控制命令推断，无需全局一致的状态估计、轨迹规划和手工控制设计。该方法不仅可使控制策略更具有鲁棒性，而且可以实现与状态法相同的赛车性能，为开发纯靠图像输入控制无人机的智能视觉自主系统铺平了道路。

Oct, 2022

教导无人机飞行比赛：模拟环境下的敏捷控制端到端回归

该研究利用深度神经网络和数据增强来训练自主赛道竞速的无人机，表明数据增强对于端到端学习非常重要，并且优化后的神经网络能够在嵌入式硬件上实时运行，适用于实际部署。

Aug, 2017

在杂乱环境中学习感知敏捷飞行

提出了一种基于学习的系统，通过模仿学习和强化学习的结合，实现了感知感知，在杂乱环境中实现了敏捷的飞行，并通过闭环控制演示了其性能。

Oct, 2022

野外快速飞行学习

提出了一种全新的端到端方法，利用卷积神经网络将嘈杂的传感观测直接映射到避撞轨迹，从而实现四旋翼的高速自主飞行。在模拟训练中，该方法可以实现从模拟到真实环境的零 - shot 迁移，成功地使四旋翼在森林、雪地、脱轨的火车和倒塌的建筑物等复杂环境中高速自主飞行，并优于传统方法。

Oct, 2021

AlphaPilot：自主无人机竞速

本文提出了一个新颖的自主、基于视觉的无人机竞速系统，结合学习的数据抽象、非线性滤波和最优时间轨迹规划，该系统已成功在 2019 年 AlphaPilot 挑战赛中部署。与传统的无人机竞赛系统不同，该方法利用任何可见的门并利用多个同时检测到的门来补偿状态估计中的漂移和构建门的全局地图。全局的地图和补偿漂移的状态估计使得无人机在比赛中可以在门不直接可见时导航，并且可以基于近似的无人机动力学实时规划近似最佳路径通过比赛赛道。所提出的系统已经成功地指导无人机穿越狭窄的比赛赛道，达到了每秒 8 米的速度，并在 2019 年 AlphaPilot 挑战赛中排名第二。

May, 2020

自主无人机赛车中鲁棒门探测的持续学习

在自主移动机器人中，弹性实时环境感知是一个主要挑战，该研究引入了一种感知技术，可以检测在高速无人机飞行中常见的光照变化情况下的无人机赛门，该方法依靠轻量级神经网络骨干结构，并具备持续学习能力，实验测试表明该方法在各种困难情景下均表现出显著的鲁棒性，特别是在面对光照变化的情况下证明了其有效性。

May, 2024

自主飞行器基于深度强化学习的长期规划

本文研究了基于现实生活中无人机赛事的长期规划场景，对使用 PPO 算法训练的强化学习智能体在无人机比赛中与使用传统路径规划算法的模拟无人机进行了实验，使用对手无人机的 GPS 信息作为专家指导进行训练，成功解决了复杂状态空间问题，其代码可以在我们的 GitHub 存储库中找到。

Jul, 2020

用于实时自主室内导航的深度神经网络

本文提出一种在室内使用单一摄像头实现四旋翼自主导航和寻找目标物体（例如书包）的方法，使用卷积神经网络 (ConvNet) 进行深度学习，使用可视化技术来更好地理解训练网络。

Nov, 2015