硬件限制的小型四旋翼无人机上的设备端自监督学习视觉感知任务
提出了一种新颖的自适应深度学习机制,用于有效执行基于视觉的人体姿势估计任务,以最大限度地利用纳米无人机上的极其有限资源,通过结合两种卷积神经网络、三种基于输出的时间一致性和辅助任务的新适应策略来实现。在真实世界数据集和实际纳米无人机硬件上,与仅执行更大且更精确的卷积神经网络模型相比,我们的最佳性能系统显示了 28% 的延迟减少,同时保持相同的平均绝对误差(MAE),3% 的 MAE 减少,并且绝对峰值性能,即比 SoA 模型好 6%。
Jan, 2024
基于低分辨率相机和超低功耗车载 SoC 的垂直集成系统,通过全卷积神经网络(FCNN)在纳米无人机之间背对背的相对姿态估计方面取得了显著改进。
Feb, 2024
通过使用深度神经网络进行视觉姿态估计任务的新型自动优化流程,本研究针对小型自主无人机的智能化实现提出了两种不同的神经架构搜索算法,采用一套新颖的软件核心,通过并行超低功耗的片上系统在现成的纳米无人机上执行关键深度神经网络层序列,成功提高了当前技术水平并将推理延迟降低高达 3.22 倍。
Feb, 2024
本研究提出了一种通过深度神经网络解决双对等纳米无人机的单目相对定位的新型自治端到端系统,从数据集收集到最终的实地部署,包括数据集增强、量化和系统优化。实验结果表明,我们的 DNN 可以通过使用低分辨率单色图像,在最多 2 米的距离内精确定位 10 厘米大小的目标纳米无人机,系统精度达到 15 厘米,控制误差为 17 厘米,实现了长时间跟踪,具有泛化能力,每秒运行速度为 48Hz,仅需 95mW 的最小功耗。
Mar, 2023
本文介绍了一种用于小型自主飞行器(如无人机)的自主导航引擎,此引擎基于神经网络和并行低功耗计算平台 GAP8,可以使得纳米无人机在严格的实时约束下完整地执行复杂的深度卷积神经网络,以实现闭环端到端可视化导航,同时系统耗能相对较小,且不会对飞行结果进行任何妥协。
May, 2018
运用神经结构搜索技术 (NAS), 我们为视觉姿态估计任务自动确定了几个帕累托最优的卷积神经网络 (CNNs), 以适应小型 UAV 硬件限制的特点,展示了现实生活中多个 NAS 优化的 CNNs 可以在 27 克的 Crazyflie 纳米 UAV 上运行,并通过降低 32%的实地控制误差,具有实时的推断速率~10Hz@10mW 和~50Hz@90mW,从而进一步优化了 CNNs。
Mar, 2023
本文提出了一种基于边缘 - 雾计算的分布式执行方案,通过验证小型无人机上运行的随机子网络,以增强对云端计算的可靠性,同时提高了视觉位姿估计网络的性能和安全性。
Jul, 2023
本文提出了一种基于卷积神经网络和边缘计算硬件技术的光流估计方法,适用于纳米四旋翼在狭窄复杂环境中的安全和自主导航。通过对边缘设备进行优化和利用运动边界真实数据提高光流估计性能的训练方法,NanoFlowNet 在 MPI-Sintel 数据集上得到了很好的验证效果,同时还在 34 克纳米四轴飞行器上实现了基于视觉的障碍物避让任务。
Sep, 2022
通过使用超低功耗的 GAP8 芯片与卷积神经网络,我们实现了一种使用图像视觉引导的自主导航算法,在小型纳米无人机上实现了全自主室内导航,提高了其对高速飞行中的障碍物的响应速度,同时公开了代码、数据集和模型参数,以促进无人机研究的发展
May, 2019
本文提出一种在室内使用单一摄像头实现四旋翼自主导航和寻找目标物体(例如书包)的方法,使用卷积神经网络 (ConvNet) 进行深度学习,使用可视化技术来更好地理解训练网络。
Nov, 2015