Jan, 2024

适应性深度学习用于超低功耗纳米飞行器高效视觉姿态估计

PDF
TL;DR提出了一种新颖的自适应深度学习机制，用于有效执行基于视觉的人体姿势估计任务，以最大限度地利用纳米无人机上的极其有限资源，通过结合两种卷积神经网络、三种基于输出的时间一致性和辅助任务的新适应策略来实现。在真实世界数据集和实际纳米无人机硬件上，与仅执行更大且更精确的卷积神经网络模型相比，我们的最佳性能系统显示了 28% 的延迟减少，同时保持相同的平均绝对误差（MAE），3% 的 MAE 减少，并且绝对峰值性能，即比 SoA 模型好 6%。
发现论文，激发创造
  • 优化的深度神经网络在纳米无人机上的视觉姿态估计部署

    通过使用深度神经网络进行视觉姿态估计任务的新型自动优化流程，本研究针对小型自主无人机的智能化实现提出了两种不同的神经架构搜索算法，采用一套新颖的软件核心，通过并行超低功耗的片上系统在现成的纳米无人机上执行关键深度神经网络层序列，成功提高了当前技术水平并将推理延迟降低高达 3.22 倍。

    Feb, 2024

  • 深度神经网络架构搜索，用于 Nano-UAV 上的精确视觉位姿估计

    运用神经结构搜索技术 (NAS), 我们为视觉姿态估计任务自动确定了几个帕累托最优的卷积神经网络 (CNNs), 以适应小型 UAV 硬件限制的特点，展示了现实生活中多个 NAS 优化的 CNNs 可以在 27 克的 Crazyflie 纳米 UAV 上运行，并通过降低 32％的实地控制误差，具有实时的推断速率～10Hz@10mW 和～50Hz@90mW，从而进一步优化了 CNNs。

    Mar, 2023

  • 高通量视觉纳米无人机相对定位的基于机载全卷积神经网络的方法

    基于低分辨率相机和超低功耗车载 SoC 的垂直集成系统，通过全卷积神经网络（FCNN）在纳米无人机之间背对背的相对姿态估计方面取得了显著改进。

    Feb, 2024

  • 硬件限制的小型四旋翼无人机上的设备端自监督学习视觉感知任务

    通过在纳米无人机上进行设备学习，我们提出了解决领域转换问题的方法，并在实施中取得了重要进展。

    Mar, 2024

  • 基于 DNN 的 64mW 自主纳米无人机视觉导航引擎

    本文介绍了一种用于小型自主飞行器（如无人机）的自主导航引擎，此引擎基于神经网络和并行低功耗计算平台 GAP8，可以使得纳米无人机在严格的实时约束下完整地执行复杂的深度卷积神经网络，以实现闭环端到端可视化导航，同时系统耗能相对较小，且不会对飞行结果进行任何妥协。

    May, 2018

  • 基于超低功耗深度学习的纳米四轴飞行器单目相对定位

    本研究提出了一种通过深度神经网络解决双对等纳米无人机的单目相对定位的新型自治端到端系统，从数据集收集到最终的实地部署，包括数据集增强、量化和系统优化。实验结果表明，我们的 DNN 可以通过使用低分辨率单色图像，在最多 2 米的距离内精确定位 10 厘米大小的目标纳米无人机，系统精度达到 15 厘米，控制误差为 17 厘米，实现了长时间跟踪，具有泛化能力，每秒运行速度为 48Hz，仅需 95mW 的最小功耗。

    Mar, 2023

  • 基于深度学习的小型无人机分布式智能安全系统

    本文提出了一种基于边缘 - 雾计算的分布式执行方案，通过验证小型无人机上运行的随机子网络，以增强对云端计算的可靠性，同时提高了视觉位姿估计网络的性能和安全性。

    Jul, 2023

  • 基于开源和开放硬件的深度学习视觉导航引擎 —— 用于自主纳米无人机

    通过使用超低功耗的 GAP8 芯片与卷积神经网络，我们实现了一种使用图像视觉引导的自主导航算法，在小型纳米无人机上实现了全自主室内导航，提高了其对高速飞行中的障碍物的响应速度，同时公开了代码、数据集和模型参数，以促进无人机研究的发展

    May, 2019

  • Tiny-PULP-Dronets：多任务自主纳米无人机上用于更快速且轻量级推理的神经网络压缩

    微型自主纳米无人机可在狭窄受限的空间中进行视觉检查，确保较小的体积和重量（即几十克）以及更安全的人机交互；本研究通过 Tiny-PULP-Dronet 方法，在保持类似飞行性能的同时，将模型大小（参数减少 50 倍）和运算数量（乘加运算减少 27 倍）大幅压缩，从而降低成本助力纳米无人机实现多任务处理和高级智能。

    Jul, 2024

  • A3D：边缘辅助飞行器的自适应、准确、自主导航

    利用深度神经网络改进自主无人机导航，提出 A3D 边缘服务器辅助的无人机导航框架，可动态调整任务执行位置、输入分辨率和图像压缩比，以实现低推理延迟、高预测准确性和长飞行距离。证实 A3D 相比非自适应方案可将端到端延迟减少 28.06％，飞行距离延长高达 27.28％。

    Jul, 2023