Mar, 2023

深度神经网络架构搜索，用于 Nano-UAV 上的精确视觉位姿估计

PDF
TL;DR运用神经结构搜索技术 (NAS), 我们为视觉姿态估计任务自动确定了几个帕累托最优的卷积神经网络 (CNNs), 以适应小型 UAV 硬件限制的特点，展示了现实生活中多个 NAS 优化的 CNNs 可以在 27 克的 Crazyflie 纳米 UAV 上运行，并通过降低 32％的实地控制误差，具有实时的推断速率～10Hz@10mW 和～50Hz@90mW，从而进一步优化了 CNNs。
miniaturized autonomous unmanned aerial vehiclesneural architecture searchconvolutional neural networksvisual pose estimationhardware constraints
发现论文，激发创造
  • 优化的深度神经网络在纳米无人机上的视觉姿态估计部署

    通过使用深度神经网络进行视觉姿态估计任务的新型自动优化流程，本研究针对小型自主无人机的智能化实现提出了两种不同的神经架构搜索算法，采用一套新颖的软件核心，通过并行超低功耗的片上系统在现成的纳米无人机上执行关键深度神经网络层序列，成功提高了当前技术水平并将推理延迟降低高达 3.22 倍。

    Feb, 2024

  • 适应性深度学习用于超低功耗纳米飞行器高效视觉姿态估计

    提出了一种新颖的自适应深度学习机制，用于有效执行基于视觉的人体姿势估计任务，以最大限度地利用纳米无人机上的极其有限资源，通过结合两种卷积神经网络、三种基于输出的时间一致性和辅助任务的新适应策略来实现。在真实世界数据集和实际纳米无人机硬件上，与仅执行更大且更精确的卷积神经网络模型相比，我们的最佳性能系统显示了 28% 的延迟减少，同时保持相同的平均绝对误差（MAE），3% 的 MAE 减少，并且绝对峰值性能，即比 SoA 模型好 6%。

    Jan, 2024

  • 高通量视觉纳米无人机相对定位的基于机载全卷积神经网络的方法

    基于低分辨率相机和超低功耗车载 SoC 的垂直集成系统，通过全卷积神经网络（FCNN）在纳米无人机之间背对背的相对姿态估计方面取得了显著改进。

    Feb, 2024

  • 基于开源和开放硬件的深度学习视觉导航引擎 —— 用于自主纳米无人机

    通过使用超低功耗的 GAP8 芯片与卷积神经网络，我们实现了一种使用图像视觉引导的自主导航算法，在小型纳米无人机上实现了全自主室内导航，提高了其对高速飞行中的障碍物的响应速度，同时公开了代码、数据集和模型参数，以促进无人机研究的发展

    May, 2019

  • 基于 DNN 的 64mW 自主纳米无人机视觉导航引擎

    本文介绍了一种用于小型自主飞行器（如无人机）的自主导航引擎，此引擎基于神经网络和并行低功耗计算平台 GAP8，可以使得纳米无人机在严格的实时约束下完整地执行复杂的深度卷积神经网络，以实现闭环端到端可视化导航，同时系统耗能相对较小，且不会对飞行结果进行任何妥协。

    May, 2018

  • 用于实时自主室内导航的深度神经网络

    本文提出一种在室内使用单一摄像头实现四旋翼自主导航和寻找目标物体（例如书包）的方法，使用卷积神经网络 (ConvNet) 进行深度学习，使用可视化技术来更好地理解训练网络。

    Nov, 2015

  • 硬件限制的小型四旋翼无人机上的设备端自监督学习视觉感知任务

    通过在纳米无人机上进行设备学习，我们提出了解决领域转换问题的方法，并在实施中取得了重要进展。

    Mar, 2024

  • ViPNAS：基于神经架构搜索的高效视频姿态估计

    我们提出了一种新颖的神经架构搜索方法 ViPNAS，用于快速在线视频姿势估计，通过在空间和时间级别上搜索网络来实现更好的准确度和效率之间的权衡。在时间级别上，我们首次搜索了视频中的时间特征融合和自动计算分配。我们的实验结果表明，我们的方法在 CPU 实时推导速度方面比先前的最先进方法快而不牺牲准确性。

    May, 2021

  • 协同无人机和卷积网络实现高效实时图像识别

    在本文中，我们提出了一种旨在将推理请求分配到资源受限的 UAV 群体的策略，该策略可在无人机上对捕获的图像进行分类，并找到最小的决策延迟，其模型被制定为一个最小化获取图像与做出最终决策之间延迟的优化问题，我们提出了一种名为 DistInference 的在线启发式解决方案，以找到最佳延迟的分层策略，可以用于不同的低决策延迟应用程序以及所有 CNN 类型。

    Jul, 2021

  • 嵌入式无人机实时空中检测与推理

    提出一种统一的流水线架构，用于 UAV 上的嵌入式系统的实时检测系统，可在自主勘测和活动报告等 UAV 应用中利用领域特定知识进行空中行人检测和活动识别。

    May, 2023