在飞行中训练:在20mW的功耗下进行纳米无人机的设备自我监督学习
本文介绍了一种用于小型自主飞行器(如无人机)的自主导航引擎,此引擎基于神经网络和并行低功耗计算平台GAP8,可以使得纳米无人机在严格的实时约束下完整地执行复杂的深度卷积神经网络,以实现闭环端到端可视化导航,同时系统耗能相对较小,且不会对飞行结果进行任何妥协。
May, 2018
通过使用超低功耗的GAP8芯片与卷积神经网络,我们实现了一种使用图像视觉引导的自主导航算法,在小型纳米无人机上实现了全自主室内导航,提高了其对高速飞行中的障碍物的响应速度,同时公开了代码、数据集和模型参数,以促进无人机研究的发展
May, 2019
本篇论文对设备上的机器学习进行了全面的调查和分类,将On-device Learning问题重新表述为资源受限的学习,如何在设备资源有限的情况下进行模型训练是未来需要关注的重点。
Nov, 2019
运用神经结构搜索技术(NAS), 我们为视觉姿态估计任务自动确定了几个帕累托最优的卷积神经网络(CNNs), 以适应小型UAV硬件限制的特点,展示了现实生活中多个NAS优化的CNNs可以在27克的Crazyflie纳米UAV上运行,并通过降低32%的实地控制误差,具有实时的推断速率 ~10Hz@10mW和~50Hz@90mW,从而进一步优化了CNNs。
Mar, 2023
本研究提出了一种通过深度神经网络解决双对等纳米无人机的单目相对定位的新型自治端到端系统,从数据集收集到最终的实地部署,包括数据集增强、量化和系统优化。实验结果表明,我们的DNN可以通过使用低分辨率单色图像,在最多2米的距离内精确定位10厘米大小的目标纳米无人机,系统精度达到15厘米,控制误差为17厘米,实现了长时间跟踪,具有泛化能力,每秒运行速度为48Hz,仅需95mW的最小功耗。
Mar, 2023
提出了一种新颖的自适应深度学习机制,用于有效执行基于视觉的人体姿势估计任务,以最大限度地利用纳米无人机上的极其有限资源,通过结合两种卷积神经网络、三种基于输出的时间一致性和辅助任务的新适应策略来实现。在真实世界数据集和实际纳米无人机硬件上,与仅执行更大且更精确的卷积神经网络模型相比,我们的最佳性能系统显示了28%的延迟减少,同时保持相同的平均绝对误差(MAE),3%的MAE减少,并且绝对峰值性能,即比SoA模型好6%。
Jan, 2024
基于低分辨率相机和超低功耗车载SoC的垂直集成系统,通过全卷积神经网络(FCNN)在纳米无人机之间背对背的相对姿态估计方面取得了显著改进。
Feb, 2024
通过使用深度神经网络进行视觉姿态估计任务的新型自动优化流程,本研究针对小型自主无人机的智能化实现提出了两种不同的神经架构搜索算法,采用一套新颖的软件核心,通过并行超低功耗的片上系统在现成的纳米无人机上执行关键深度神经网络层序列,成功提高了当前技术水平并将推理延迟降低高达3.22倍。
Feb, 2024
微型自主纳米无人机可在狭窄受限的空间中进行视觉检查,确保较小的体积和重量(即几十克)以及更安全的人机交互;本研究通过Tiny-PULP-Dronet方法,在保持类似飞行性能的同时,将模型大小(参数减少50倍)和运算数量(乘加运算减少27倍)大幅压缩,从而降低成本助力纳米无人机实现多任务处理和高级智能。
Jul, 2024