Sep, 2023

一种基于 Pepper、Lightweight-Transformer 和 LLM 的手语识别系统

PDF
TL;DR本研究旨在使用轻量级深度神经网络架构，使人型机器人 Pepper 能够理解美国手语（ASL），促进非语言人机交互。我们首先介绍了一个针对嵌入式系统进行了优化的轻量级高效 ASL 模型，可以在保留计算资源的同时快速识别手势。其次，我们运用大型语言模型（LLMs）进行智能机器人交互。通过精心设计的提示工程，我们能够实现 Pepper 机器人生成自然的共语手势回应，为更有机、直观的人机对话奠定基础。最后，我们提供了一个集成的软件管道，体现了社交意识型人工智能交互模型的最新进展。利用 Pepper 机器人的能力，我们在实际场景中验证了我们方法的实用性和有效性。结果突出了通过非语言交互增强人机交互的巨大潜力，缩小沟通差距，使技术更易接近和理解。
lightweight deep neural network architecturesamerican sign language (asl)non-verbal human-robot interactionco-speech gesture responsessocially aware ai interaction model
发现论文，激发创造
  • 弥合交流鸿沟：人工智能代理通过模仿学习手语

    通过从演示中学习，我们研究了通过获取非语言交流技能，特别是手语理解和表达方面的潜在应用，我们专注于对人工智能代理进行模仿学习，使用计算机视觉和深度学习从视频中提取信息，并使用强化学习使代理能够复制观察到的动作，这种方法消除了需要额外硬件的需求，我们成功地教授了涉及上半身（即臂和手）的 5 种不同的手势，为人工智能代理的高级沟通技能铺平了道路。

    Jun, 2024

  • 高效精确的手语识别：只需一个优秀的姿态估计库

    该研究利用 SPOTER 架构和 MediaPipe 技术，实现更高效、精准的手语识别，成功创建了首个公开的在线手语翻译应用。

    Sep, 2022

  • 一个实时的人工智能学习手语的系统

    开发一种基于人工智能的成本效益高、资源高效和开放的技术，旨在帮助人们学习和使用手语进行交流，以促进社会的包容性。该研究分析了基于人工智能的手语解决方案，特别聚焦美国手语，取得了令人满意的初步结果，并为进一步发展奠定了基础。

    Feb, 2024

  • 基于图像的印度手语识别：使用深度神经网络的实用综述

    该研究旨在利用计算机视觉技术和卷积神经网络，开发一种实时、基于印度手语的手语识别系统，以帮助印度的聋人和听力有障碍的人群。经过多次处理和训练，该模型的准确率达到了 99%。

    Apr, 2023

  • 手语 Transformer: 端到端手语识别和翻译

    本研究引入了一种新型的基于 Transformer 的架构，通过使用 CTC loss 将连续手语识别和翻译结合在一起，从而实现了端到端的训练。我们的手语翻译器在标准评估数据集 PHOENIX14T 上实现了最先进的手语翻译效果，超越了传统的手语视频到口语 / 手语关键词到口语机器翻译模型。

    Mar, 2020

  • 使用可穿戴传感器和机器学习的手语对话翻译

    本文介绍了一个基于可穿戴设备的自动手语识别系统的概念验证，该系统通过采集动态手语的数据序列并使用机器学习方法来解释一组美国手语（ASL）动态单词。建立的模型达到了高质量的性能，如随机森林模型准确率达到了 99％，支持向量机（SVM）和两个 K 最近邻（KNN）模型准确率均为 98％，这表明了一个全面系统发展的许多可能路径。

    Dec, 2023

  • VoicePilot: 利用语言模型作为机器人辅助的语音界面

    通过结合大规模语言模型作为语音界面，我们提出了一个框架，用于将大规模语言模型应用于物理辅助机器人，以实现高水平任务规划和代码生成，并通过实证研究为物理辅助机器人的语音界面设计提供指导。

    Apr, 2024

  • 面向可伸缩性的儿童自闭症干预的机器人介入优化

    我们提出了一种社交机器人，可以与自闭症谱系障碍（ASD）的儿童进行口头交流，以教授利用大型语言模型（LLM）生成的文本进行透视能力培养。该社交机器人 NAO 充当了一个刺激器（描述一种社交情境并提问）、提示器（提供三个选项供选择）和强化器（当回答正确时表扬）。我们比较了两种方法：GPT-2 + BART 和 GPT-2 + GPT-2，其中第一个 GPT-2 在两个流程中用于无监督社交情境生成。我们使用 SOCIALIQA 数据集对所有 LLM 流程进行了微调。我们发现 GPT-2 + BART 流程在生成问题和选项时具有更好的 BERTscore，通过组合它们的各自损失函数进行评估，这个发现也得到了人工评估的验证。最后，我们使用 T-SNE 图可视化了无监督生成的社交情境，并由人类专家评估了整个流程对 ASD 儿童的适应性。

    Feb, 2024

  • 通过骨架图像表示增强巴西手语识别

    通过提取身体、手部和面部关键点并将其编码为 2D 图像，本研究提出了一种孤立手语识别（ISLR）方法，通过卷积神经网络映射视觉和时间信息到手语标签，实验证明该方法在两个广为认可的巴西手语（LIBRAS）数据集上的性能指标超过了现有技术。此外，由于依赖于更简单的网络架构和仅使用 RGB 数据作为输入，本方法更准确、更高效且更易于训练。

    Apr, 2024

  • 使用神经形态硬件进行美式手语的静态手势识别

    该论文研究使用 4 种脉冲神经网络模型对美国手语静态手势进行分类，分别使用 ASL 字母和 ASL 数字的数据集进行相关实验，使用英特尔神经形态平台 Loihi 进行比较。结果表明，相较于英特尔神经计算棒 2，Loihi 实现方式在精度、延迟、功耗和能耗方面均优于英特尔神经计算棒 2。

    Jul, 2022