Jun, 2023

实时车载目标检测用于增强现实：基于 YOLOv8 增强 头戴式显示器

PDF
TL;DR本文提出了一种软件架构，用于在增强现实环境中使用机器学习进行实时物体检测。我们采用最新的 YOLOv8 网络，它可以在 Microsoft HoloLens 2 头戴式显示器上运行。我们展示了该模型的图像处理流水线以及用于在资源受限的边缘计算平台上实现实时性的技术。实验结果表明，我们的解决方案在不需要将任务卸载到云或其他外部服务器的情况下实现了实时处理，并保持了满意的精度和质量表现。
real-time object detectionmachine learningaugmented realitymicrosoft hololens 2edge computing
发现论文，激发创造
  • 手动装配场景下近实时自我中心感知中的小物体检测

    通过利用环境背景和 CAD 数据，基于 YOLOv4 模型的两阶段检测流程，研究在 Microsoft Hololens 2 等增强现实设备中实现小物体检测的方法。

    Jun, 2021

  • YOLOv5, YOLOv8 和 YOLOv10：实时视觉领域首选检测器

    本文综述了 YOLO（You Only Look Once）目标检测算法的演进，着重介绍了 YOLOv5、YOLOv8 和 YOLOv10。分析了这些版本的架构改进、性能提升以及在边缘部署方面的适用性。研究结果表明在准确性、效率和实时性能方面不断取得了进展，并强调了它们在资源受限环境中的适用性。本综述提供了模型复杂性和检测准确性之间的权衡，为选择特定边缘计算应用的最合适的 YOLO 版本提供指导。

    Jul, 2024

  • YOLOv10：实时端到端物体检测

    通过消除非极大值抑制（NMS）的依赖性和综合优化 YOLOs 的各个组件，本研究提出了一种新一代的实时端到端目标检测模型 YOLOv10，其在性能和效率方面均取得了最新的成果。

    May, 2024

  • YOLOv8 实时飞行物体检测

    本文提出了一种广义飞行物实时检测模型，可用于迁移学习和进一步研究，同时提出了一种可用于实现的改进模型。通过将第一通用模型训练在包含 40 种不同类别的飞行物数据集上，我们可以使模型提取抽象特征表示，然后在代表真实世界环境的数据集上执行传递学习，从而生成改进的模型，并且我们尝试使用当前最先进的单发探测器 YOLOv8 来解决一些出现的挑战。最后得到的模型达到了 0.685 的 mAP50-95 和 50fps 的平均推断速度。

    May, 2023

  • 针对视障人士的户外障碍物检测研究

    深度学习目标检测在帮助视力受损者避开障碍物方面是一种有效的方法，本文通过实现并评估七种不同的 YOLO 目标检测模型（YOLO-NAS，YOLOv8，YOLOv7，YOLOv6 和 YOLOv5）来分析这些模型在道路和人行道上常见物体的图像上的表现，并发现 YOLOv8 是最佳模型，其在包含 VOC、COCO 和 TT100K 数据集的 Obstacle 数据集上表现出 80% 的精确度和 68.2% 的召回率，尽管 YOLO-NAS 是最新的模型，在其他应用中表现更好，但对于障碍物检测任务来说并不理想。

    Dec, 2023

  • 在沉浸式可穿戴设备上部署基于卷积神经网络的计算机视觉模型的方法论

    该论文介绍了一种方法，通过在计算机上训练 CNN 模型并将优化的权重矩阵传输到 AR 头戴设备，以在 AR 头戴设备上部署 CNN 模型。该方法将图像数据和 CNN 层转换为适合 AR 平台的一维格式，在 HoloLens AR 头戴设备上使用 PyTorch 训练 LeNet-5 CNN 模型并部署，结果表明模型的准确率约为 98%，与在计算机上的表现相似。这种 CNN 和 AR 的结合使得 AR 头戴设备能够实时进行图像处理，实现了人工智能模型与人的交互。

    Jun, 2024

  • 实时深度学习车辆和行人检测与分析

    通过训练和评估 YOLOv8 和 RT-DETR 模型的不同版本，我们的研究项目旨在创建和验证一个先进的深度学习框架，能够处理复杂视觉输入，以实时识别各种环境中的汽车和行人。YOLOv8 Large 版本被证明是最有效的，在行人识别方面具有很高的准确性和鲁棒性。研究结果表明，该模型能够显著提高交通监控和安全性，成为计算机视觉领域实时可靠检测的重要贡献，并为交通管理系统建立了新的基准。

    Apr, 2024

  • 智能眼镜上的超高效设备端物体检测技术

    本文说明了在智能眼镜中设计和实现利用新型低功耗处理器的小型机器学习算法，以实现持续不间断运行。我们使用两个微控制器和蓝牙低功耗模块为研究平台设计了智能眼镜原型，集成了用于能耗和延迟评估的基于 YOLO 的小型深度学习模型 TinyissimoYOLO，并在原型上进行了评估，结果表明其具有良好的检测精度和能耗性能。

    Nov, 2023

  • 使用 YOLOv5 和集成学习实现实时头盔违规检测

    本研究基于 100 个视频，开发了实时的 YOLOv5 深度学习模型，用于检测骑摩托车的骑手和乘客是否佩戴头盔，从而提高路上安全和交通法规的执行力。

    Apr, 2023

  • 利用物体检测和口头反馈帮助盲人

    本研究使用 YOLO 模型和 OpenCV 库，利用实时视频检测对象并将图像识别结果以可听形式提供给视觉障碍者，成功实现了优秀的平均准确率 (mAP)。

    Dec, 2023