MMApr, 2020

自主降落无人机视觉硬件 - 软件实时控制系统

PDF
TL;DR本文提出了一种基于视觉控制的硬件 - 软件控制系统，可以自主降落多旋翼无人机，使用 LiDAR 传感器测量地面以上的飞行高度，并在 1280 x 720 @ 60 fps 视频流中实时检测带标记的着陆平台，并以 96％的准确率检测了着陆平台，表明重新编程的异构计算系统是解决 UAV 问题的好方案，可以实现相对较低的能耗的实时数据流处理。
vision based control systemmultirotor unmanned aerial vehicleautonomous landingreal-time detectionheterogeneous computing system
发现论文，激发创造
  • 基于视觉的航空器在海洋船只上降落控制

    本文探讨了使用基于图像的视觉伺服控制解决空中载具（如四旋翼无人机）在移动平台上的着陆问题。首先介绍了四旋翼飞行器的数学模型，然后设计内环控制。在第二阶段中，利用纹理目标平面上的图像特征来推导基于视觉的控制定律。使用降落目标中一组地标的球形质心的图像作为位置测量，而平移光流作为速度测量。使用可观察特征来表达基于视觉的系统的运动学，并且所提出的控制定律确保收敛，无需估计视觉系统与目标之间的未知距离，同时保证该距离始终保持严格为正，避免意外碰撞。通过 MATLAB 和 3D 仿真软件 Gazebo 对所提出的控制定律进行了评估。对于移动目标的不同速度配置文件，提供了四旋翼无人机的仿真结果，展示了所提出控制器的鲁棒性。

    Apr, 2024

  • 面向移动平台探测和着陆的全自主无人机控制器

    本研究提出了一种基于神经网络和增强学习的无人机自主降落系统，该系统仅依赖于镜头传感器，经过现实世界测试，平均偏差为 15cm。

    Sep, 2022

  • 一种使用视觉和红外基准标记器以及多负载摄像头的精准无人机降落系统

    无人机自主精确降落方法：利用标志物和云台式多传感器相机（包括广角、变焦和红外传感器）进行精确降落，通过使用不同传感器和变焦倍数，消除了大部分辅助传感器要求，最大程度利用了航向信息，以及利用红外标志物在昼夜间进行精确降落，提出了初始搜索和丢失后的搜索的高级控制策略。

    Mar, 2024

  • 学习辅助无人机降落

    本研究提出了一种共享自主系统，该系统可以协助新手驾驶员在多个高架平台上实现安全着陆，并在使用模拟无人机时进行了用户研究。

    Nov, 2020

  • 基于视觉的复杂背景和雨天下的无人机检测

    本文研究了计算机视觉和深度学习技术在无人机检测方面的表现，探究了在复杂背景、不同大小、复杂天气等挑战条件下使用一阶段探测器和二阶段探测器进行 UAV 检测的性能，并对两个数据集进行了评估，研究结果为发展更为强大的 UAV 检测方法提供了借鉴。

    May, 2023

  • 无人机自主降落的多模态学习方法

    该研究介绍了一种基于多模式变压器的深度学习探测器，可为精确自主着陆提供可靠的定位，同时还提出了一种基于深度 Q 网络的强化学习决策模型，该模型在模拟环境中进行训练，然后成功地在真实户外场景中验证其适用性。

    May, 2024

  • 基于视觉的无人机感知系统实时航空目标定位与跟踪

    文章研究了无人机导航中基于视觉的障碍物检测和跟踪问题，提出了一种实时的对象定位和跟踪策略，将对象检测和跟踪有效地集成到动态卡尔曼模型中，并使用卡尔曼滤波提供对象状态的粗略预测，而无需对其进行手动初始化，具有比同类技术更快的运行速度和竞争性的跟踪性能。

    Mar, 2017

  • 基于开源和开放硬件的深度学习视觉导航引擎 —— 用于自主纳米无人机

    通过使用超低功耗的 GAP8 芯片与卷积神经网络，我们实现了一种使用图像视觉引导的自主导航算法，在小型纳米无人机上实现了全自主室内导航，提高了其对高速飞行中的障碍物的响应速度，同时公开了代码、数据集和模型参数，以促进无人机研究的发展

    May, 2019

  • 安全自主四旋翼降落的视觉环境评估

    本文介绍了一种用于检测和评估四旋翼机器人安全降落潜在地点的新方法，该方法通过整合 2D 和 3D 环境信息，从神经网络 (NN) 获得语义数据以及从视差图获得几何信息，定义了基于几何属性的成本指标，以评估环境中区域的安全性、稳定性和适用性，并实时运行于计算能力有限的四旋翼机器人上，实验证明该方法能够有效评估和识别合适的降落区域，实现四旋翼机器人的安全自主降落。

    Nov, 2023

  • 基于异构 RISC-V 的安全纳米无人机导航 SoC

    Shaheen 是首个基于 RISC-V ISA 的异构主机 + 加速器架构完全基于 ULP SoC 硅原型，集成了 Linux 可用的 RV64 核心，符合 v1.0 核准的 Hypervisor 扩展，配备时序通道保护，同时还集成了用于通用 DSP 和减少和混合精度 ML 优化的 RV32 核心的高度可编程、能效和面积高效的多核集群，该 SoC 的能力已在与 nano-UAV 应用相关的各种基准测试上得到证明。

    Jan, 2024