May, 2024

使用深度学习的实时药丸辨识技术

PDF
TL;DR该研究探讨了一种基于深度学习的移动应用的开发和实施，旨在通过移动设备上的实时图像处理准确识别和区分不同类型的药丸以协助盲人和视障人士，该应用利用文本转语音（TTS）提供即时的听觉反馈，提高了视障用户的可用性和独立性。研究评估了应用的检测准确性和用户体验，凸显其在改善视障人士社区的药物管理和安全方面的潜力。
deep learningyolo frameworkmobile applicationvisual impairmentpill identification
发现论文，激发创造
  • 利用物体检测和口头反馈帮助盲人

    本研究使用 YOLO 模型和 OpenCV 库，利用实时视频检测对象并将图像识别结果以可听形式提供给视觉障碍者，成功实现了优秀的平均准确率 (mAP)。

    Dec, 2023

  • 利用机器学习和计算机视觉提高低视力和盲人的可访问性

    利用机器学习和计算机视觉技术改善视障人士的使用便利性的移动应用程序的研究。

    Mar, 2024

  • 通过深度学习预测移动 GUI 组件的自然语言标签，解除应用程序的盲目性

    本文通过开发一个深度学习模型 LabelDroid 来实现自动预测图像按钮标签，结果表明该模型可以准确预测，并且所生成的标签质量比真实 Android 开发人员的更高。

    Mar, 2020

  • 实时也门货币识别

    通过深度学习技术，本论文提出了一个实时的也门货币识别系统，旨在帮助视障人士辨识不同类型的也门货币。

    Jun, 2024

  • 少样本增量式药丸识别

    本文介绍了一种自动药丸识别系统，提出了一种基于深度学习的 few-shot 类增量药丸识别系统方法，该方法采用表示和分类器的分离学习策略，并提出了新的 Center-Triplet 损失函数和伪药丸图像构造策略，用于训练 Graph Attention Network 以获得自适应模型，并构建了两个新的药丸图像数据集。实验结果表明，我们的框架优于现有的最先进方法。

    Apr, 2023

  • 基于深度学习的穿戴式助视系统

    本文提出了一种基于深度学习的辅助系统，旨在提高视障人士的环境感知体验，通过 RGBD 数据和建立的语义地图预测行走指令、进行障碍物避让，在多种情境下得到了很好的实验效果并有效提高了视障人士的环境感知体验。

    Aug, 2019

  • 基于深度学习和光流的视力障碍人士导航系统

    一个方法用于指导视障人士在繁忙的街道上行走，通过使用视觉图像、物体检测和光流估计等技术，提供必要的信息和警告。

    Oct, 2023

  • 盲人触觉设备上的物体识别系统

    本文旨在开发一种设备，将视觉信息转换为听觉反馈，以协助视障者更好地了解他们的环境，该设备的选择基于准确性和成本方面的考虑，包括时间和功耗等因数，经测试，其在场景理解，包括静态或动态的对象，以及屏幕内容如电视、电脑和手机等方面具有显著的效果。

    Jul, 2023

  • 使用轻量级卷积神经网络进行盲人街道安全辅助

    本文提出了一种利用深度学习卷积神经网络模型的免费移动应用程序，以帮助视障者在现实时间内快速获取和理解交通信号灯颜色和方向的必要信息。应用程序在分类准确度上达到了 96％，平均角度误差为 6.15 度，并通过声音和震动同时提供信息。此解决方案已通过 7 名视障人士的测试，获得了满意的反馈。

    Sep, 2019

  • 针对视障人士的户外障碍物检测研究

    深度学习目标检测在帮助视力受损者避开障碍物方面是一种有效的方法，本文通过实现并评估七种不同的 YOLO 目标检测模型（YOLO-NAS，YOLOv8，YOLOv7，YOLOv6 和 YOLOv5）来分析这些模型在道路和人行道上常见物体的图像上的表现，并发现 YOLOv8 是最佳模型，其在包含 VOC、COCO 和 TT100K 数据集的 Obstacle 数据集上表现出 80% 的精确度和 68.2% 的召回率，尽管 YOLO-NAS 是最新的模型，在其他应用中表现更好，但对于障碍物检测任务来说并不理想。

    Dec, 2023