嵌入式无人机实时空中检测与推理
运用神经结构搜索技术 (NAS), 我们为视觉姿态估计任务自动确定了几个帕累托最优的卷积神经网络 (CNNs), 以适应小型 UAV 硬件限制的特点,展示了现实生活中多个 NAS 优化的 CNNs 可以在 27 克的 Crazyflie 纳米 UAV 上运行,并通过降低 32%的实地控制误差,具有实时的推断速率~10Hz@10mW 和~50Hz@90mW,从而进一步优化了 CNNs。
Mar, 2023
本文研究了计算机视觉和深度学习技术在无人机检测方面的表现,探究了在复杂背景、不同大小、复杂天气等挑战条件下使用一阶段探测器和二阶段探测器进行 UAV 检测的性能,并对两个数据集进行了评估,研究结果为发展更为强大的 UAV 检测方法提供了借鉴。
May, 2023
本文提出了一种新的多任务、多阶段神经网络,能够在单次前向传递中同时处理语义分割和基于视觉的航拍图像地理定位两个问题,并在卫星图像中实现商用 GPS 级别的本地化精度以及在 Inria Aerial Image Labeling 数据集和 Massachusetts Buildings 数据集上达到领先水平的分割效果。
Apr, 2018
通过使用人工神经网络和监督学习的数据集,本论文提出了一种在无人机拍摄的航拍图像中检测感兴趣对象(包括汽车、人类和火灾)的方法,并结合经典图像处理技术和预训练的神经网络实现了数据集的辅助标注和数据扩增。最后,评估了不同神经网络的性能。
Oct, 2023
本研究提出了一种神经网络模型,能够在无人机收集的热像图中识别小型和超小型目标。模型结构包括骨干网络、中间层和预测头,其中骨干网络基于 YOLOv5 结构,结尾使用了 Transformer 编码器。中间层采用了 BI-FPN 块以及滑动窗口和 Transformer 增加预测头的信息输入。预测头通过 Sigmoid 函数对特征图执行检测。Transformer 的注意力和滑动窗口的使用提高了识别准确性,同时保持了模型在嵌入式系统中的合理参数和计算需求。实验在公共数据集 VEDAI 和自己收集的数据集上进行,结果表明,与 ResNet、Faster RCNN、ComNet、ViT、YOLOv5、SMPNet 和 DPNetV3 等最先进方法相比,本模型具有更高的准确度。在嵌入式计算机 Jetson AGX 上的实验表明,本模型实现了实时计算,并具有超过 90% 的稳定性率。
Feb, 2024
通过使用深度神经网络进行视觉姿态估计任务的新型自动优化流程,本研究针对小型自主无人机的智能化实现提出了两种不同的神经架构搜索算法,采用一套新颖的软件核心,通过并行超低功耗的片上系统在现成的纳米无人机上执行关键深度神经网络层序列,成功提高了当前技术水平并将推理延迟降低高达 3.22 倍。
Feb, 2024
该论文提出了一种新的方法,用于在缺乏全球导航卫星系统(GNSS)的环境中对无人机进行地理定位。通过预处理图像以提取边缘信息,可以显著提高 UAV 地理定位方法的性能,并增强对方向和高度不准确性的鲁棒性。此外,引入了一种用于本地化的置信度标准,并通过合成实验验证了相关发现。
Apr, 2024
在本文中,我们提出了一种旨在将推理请求分配到资源受限的 UAV 群体的策略,该策略可在无人机上对捕获的图像进行分类,并找到最小的决策延迟,其模型被制定为一个最小化获取图像与做出最终决策之间延迟的优化问题,我们提出了一种名为 DistInference 的在线启发式解决方案,以找到最佳延迟的分层策略,可以用于不同的低决策延迟应用程序以及所有 CNN 类型。
Jul, 2021
本研究提出了一种适用于无人机热红外图片和视频的目标检测框架,基于 CNN 架构的 YOLO 模型,通过定量和定性评估深度学习模型,在人的交叉检测性能方面展示了 YOLOv7 模型在不同无人机观察角度下的应用。
Jan, 2024
本文提出了一种利用深度学习和流张量时空滤波相结合的多线索检测管道,可以高效地检测移动车辆并结合上下文信息进行语义压缩,以更好地利用空地网络链路的有限带宽。
Jul, 2019