Nov, 2023

智能眼镜上的超高效设备端物体检测技术

PDF
TL;DR本文说明了在智能眼镜中设计和实现利用新型低功耗处理器的小型机器学习算法，以实现持续不间断运行。我们使用两个微控制器和蓝牙低功耗模块为研究平台设计了智能眼镜原型，集成了用于能耗和延迟评估的基于 YOLO 的小型深度学习模型 TinyissimoYOLO，并在原型上进行了评估，结果表明其具有良好的检测精度和能耗性能。
smart glassesmachine learning algorithmslow-power processorsobject detectiondeep learning models
发现论文，激发创造
  • 适用于超低功耗边缘系统的灵活且全量化的超轻量级 TinyissimoYOLO

    本文介绍了一种超轻量级物体检测网络 TinyissimoYOLO，旨在为功耗为几毫瓦的边缘系统提供高度灵活且完全量化的解决方案，实验结果表明，该模型在不同参数下都表现出较好的性能，并且在多种超低功耗平台上展现出更高的能效和更低的推理延迟。

    Jul, 2023

  • TinyissimoYOLO: 一种量化、低内存占用、适用于低功耗微控制器的小型机器学习目标检测网络

    TinyissimoYOLO 是一种高度灵活、量化、内存高效、超轻量级的目标检测网络，旨在实现毫瓦级嵌入式微控制器上的实时目标检测；通过量化网络架构实现实时目标检测，最多支持 3 个对象检测类，并可用于不同型号的微控制器。

    May, 2023

  • 实时车载目标检测用于增强现实：基于 YOLOv8 增强 头戴式显示器

    本文提出了一种软件架构，用于在增强现实环境中使用机器学习进行实时物体检测。我们采用最新的 YOLOv8 网络，它可以在 Microsoft HoloLens 2 头戴式显示器上运行。我们展示了该模型的图像处理流水线以及用于在资源受限的边缘计算平台上实现实时性的技术。实验结果表明，我们的解决方案在不需要将任务卸载到云或其他外部服务器的情况下实现了实时处理，并保持了满意的精度和质量表现。

    Jun, 2023

  • 边缘实时视觉处理的超低功耗 TinyML 系统

    通过在芯片上存储全部功能和权重，完全消除了离线内存访问的延迟和能耗，并提出了一种应用特定的指令集，以实现敏捷开发和快速部署。实验表明，基于该模型、NCP 和指令集的 TinyML 系统在实现物体检测和识别时，取得了可观的准确度，并实现了纪录级的超低功耗，只有 160mW。

    Jul, 2022

  • 手动装配场景下近实时自我中心感知中的小物体检测

    通过利用环境背景和 CAD 数据，基于 YOLOv4 模型的两阶段检测流程，研究在 Microsoft Hololens 2 等增强现实设备中实现小物体检测的方法。

    Jun, 2021

  • 小型 SSD：一个用于实时嵌入式对象检测的小型单次拍摄检测深度卷积神经网络

    本文提出了一种基于深度卷积神经网络的实时嵌入式物体检测算法 Tiny SSD，通过高度优化的非均匀 Fire 子网堆栈和高度优化的非均匀 SSD 辅助卷积特征层，将模型大小控制在 2.3MB (~ 比 Tiny YOLO 小 26 倍) 的情况下，仍然能够在 VOC 2007 上实现 61.3％（比 Tiny YOLO 高 4.2％）的 mean average precision (mAP)，结果表明可以为嵌入式场景设计非常小的深度神经网络体系结构以进行实时物体检测。

    Feb, 2018

  • YOLO-LITE：面向非 GPU 计算机优化的实时目标检测算法

    本文介绍了一种基于 YOLOV2 算法的实时目标检测模型 YOLO-LITE，该模型可以在无 GPU 设备上运行，经过在 Pascal VOC 和 COCO 数据集的训练，在 7 层、482 亿次浮点运算下达到了大约 21 FPS 的检测速度，比最快的现有模型 SSD MobilenetV1 快 3.8 倍，从而提高了实时目标检测的可访问性。

    Nov, 2018

  • 提升物联网应用中轻量级神经网络对小物体检测的性能

    基于现有对象检测器，本论文提出一种新颖的自适应平铺方法，可用于微控制器上，以提高小物体的检测效果，实验证明该方法可将 F1 得分提高 225％，同时将平均物体计数误差降低至 76％，此外，结果还表明使用软 F1 损失函数可以显著减少数据不平衡带来的负面影响，并通过在索尼 Spresense 微控制器上的实验证明了该方法在检测性能、低延迟和内存消耗之间实现平衡。

    Nov, 2023

  • 快速 YOLO: 一种实时嵌入式视频目标检测仅需一次看图系统

    本文提出了一种名为 Fast YOLO 的新框架，通过深度智能进化框架优化了 YOLOv2 网络架构并将运动自适应推理方法引入，从而在保持性能的同时，在嵌入式设备上实现实时物体检测。实验结果表明，Fast YOLO 框架可以在平均 3.3 倍的速度加速下，将嵌入式系统上的检测性能提高到 18FPS。

    Sep, 2017

  • TinyTracker: 用于 Gaze 估计的超快速、超低功耗边缘视觉传感器

    本文介绍了利用 IMX500 传感器平台实现超快速、超低功耗的边缘视觉任务，包括小型 2D 凝视估计的 TinyTracker 模型，并与其他边缘平台进行比较，揭示 IMX500 在速度和功耗方面的优势。

    Jul, 2023