盲人触觉设备上的物体识别系统

Jul, 2023

Object Recognition System on a Tactile Device for Visually Impaired

Souayah Abdelkader, Mokretar Kraroubi Abderrahmene, Slimane Larabi

TL;DR本文旨在开发一种设备，将视觉信息转换为听觉反馈，以协助视障者更好地了解他们的环境，该设备的选择基于准确性和成本方面的考虑，包括时间和功耗等因数，经测试，其在场景理解，包括静态或动态的对象，以及屏幕内容如电视、电脑和手机等方面具有显著的效果。

Abstract

People with visual impairments face numerous challenges when interacting with their environment. Our objective is to develop a device that facilitates communication between individuals with visual impairments and

visual impairments machine learning model tactile device object detection model audio signal

发现论文，激发创造

利用物体检测和口头反馈帮助盲人

本研究使用 YOLO 模型和 OpenCV 库，利用实时视频检测对象并将图像识别结果以可听形式提供给视觉障碍者，成功实现了优秀的平均准确率 (mAP)。

Dec, 2023

TactoFind：一种仅基于触觉的物体检索系统

本文研究了在视觉感知缺失，对象形状未知且对象可以自由运动的场景下的物体检索问题，提出了一种使用触觉反馈进行定位、识别和抓取新对象的系统。

Mar, 2023

利用机器学习和计算机视觉提高低视力和盲人的可访问性

利用机器学习和计算机视觉技术改善视障人士的使用便利性的移动应用程序的研究。

Mar, 2024

手持物品重建的视觉触觉感知

本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

Mar, 2023

透过皮肤看世界：利用新型视触感传感器识别物体

本文介绍一种新的基于视觉的传感器，并结合高分辨率触觉发射，以统一的硬件和计算体系结构进行处理；该传感器在多模式物体识别和计量方面表现出良好效果，并且在触觉和视觉领域上具有重要的物理含义，数据验证了其能力可以从深度学习视觉和触觉结合的角度对家庭物品进行分类，识别细节纹理并推断其物理属性。

Nov, 2020

看得见，触得到：通过视觉激励学习触觉灵巧度

通过利用视觉奖励来优化敏感性策略的触觉适应 (TAVI) 框架，通过在线强化学习，在多指机器人上取得了可观的成功率，提高了性能。

Sep, 2023

视障人士导航中的地面提取与门检测

建议利用传感器和算法的组合，建立一个适用于视障人士的导航系统，该系统基于传统的 RGB-D 相机，结合鱼眼相机的信息，提供了对环境的鲁棒性与可靠性，使用户能够规划路径并避开障碍物。

Jan, 2024

基于深度学习的穿戴式助视系统

本文提出了一种基于深度学习的辅助系统，旨在提高视障人士的环境感知体验，通过 RGBD 数据和建立的语义地图预测行走指令、进行障碍物避让，在多种情境下得到了很好的实验效果并有效提高了视障人士的环境感知体验。

Aug, 2019

人工眼晴盲人

基于 Raspberry pi3 的人工眼模型，通过对象检测、光学字符识别和 Mycroft 语音辅助模型，提供视障人士的障碍物检测和文字转语音功能。

Jul, 2023

DexTouch：学习使用触觉灵巧性寻找和操纵物体

通过使用触觉传感器而无需依赖视觉信息，我们介绍了一个多指机器人系统，用于搜索和操纵随机位置的目标物体，并在模拟环境中训练和转移政策，证明了使用触觉传感器进行物体搜索和操纵任务的可行性，以实现赋予机器人类似人类触觉能力的目标。

Jan, 2024