Dec, 2023

Aikyam: 为聋哑人提供的视频会议工具

PDF
TL;DR本文提出了一种全面的视频会议实用程序，可与现有的视频会议平台配合使用，解决聋哑人士在交流中遇到的问题。它通过手语生成适当的语句，并使用音频和用户的反馈对语句进行标注，以促进所有参与者之间的流畅交流。该实用程序使用简单的 LSTM 模型进行手势分类，并使用基于 t5 的模型构建句子。为了实现所需的数据流动，使用了虚拟摄像头。
发现论文，激发创造
  • 使用 TensorFlow Object Detection API 的手语识别系统

    使用机器学习通过识别手势翻译手语对听障人群和其他人之间的交流有重要意义，该研究使用网络摄像头进行印度手语数据集构建，使用迁移学习训练 TensorFlow 模型实现实时手语识别系统，并实现了较高的准确率。

    Jan, 2022

  • 一个实时的人工智能学习手语的系统

    开发一种基于人工智能的成本效益高、资源高效和开放的技术，旨在帮助人们学习和使用手语进行交流，以促进社会的包容性。该研究分析了基于人工智能的手语解决方案，特别聚焦美国手语，取得了令人满意的初步结果，并为进一步发展奠定了基础。

    Feb, 2024

  • 使用 Mediapipe Holistic 的印度手语识别

    通过使用卷积神经网络和 LSTM 模型进行手势和静态手语识别，研究开发了一种印度手语转换为文本或语音的文本 - 手语翻译模型，可以帮助聋人和听障人士在社交、教育和职业场境中进行更准确的交流。

    Apr, 2023

  • CrossTalk: 提升视频会议中的沟通与协作能力 —— 从对话语音中识别意图

    通过结合智能技术和通信与协作，本研究提出了数字通信媒体的三个关键设计概念，包括面板基底、基于语言的意图识别和轻量级交互技术，并开发了名为 CrossTalk 的视频会议系统来实现这些概念，从而实现了更流畅灵活的通信和协作体验。

    Aug, 2023

  • PicTalky: 语言发育障碍增强和替代性交流软件

    本研究提出了一种基于 AI 的增强和替代性交流系统 PicTalky，帮助语言障碍儿童提高交流能力和语言理解能力，我们对 PicTalky 的重要特征进行了定量和定性分析，通过应用 PicTalky 到 NAO 机器人，我们首次实现了机器人 AAC。

    Sep, 2021

  • 弥合交流鸿沟：人工智能代理通过模仿学习手语

    通过从演示中学习，我们研究了通过获取非语言交流技能，特别是手语理解和表达方面的潜在应用，我们专注于对人工智能代理进行模仿学习，使用计算机视觉和深度学习从视频中提取信息，并使用强化学习使代理能够复制观察到的动作，这种方法消除了需要额外硬件的需求，我们成功地教授了涉及上半身（即臂和手）的 5 种不同的手势，为人工智能代理的高级沟通技能铺平了道路。

    Jun, 2024

  • 手语深度伪造的生成与检测 —— 语言和视觉分析

    利用深度伪造技术生成上半身的虚拟形象，配合手语并由专家审核，为聋哑人士群体带来积极应用的研究。通过构建可靠的深度伪造数据集，评估其技术和视觉可信度，并评估生成内容的可信度。该研究对健康和教育领域具有潜在益处，并可用于检测可能针对特定群体的伪造视频。

    Apr, 2024

  • 探索基于生成式人工智能的辅助技术在自闭症人士中的前景

    本文旨在探讨将深度伪造（Deepfakes）技术作为一种辅助技术所具有的潜力，研究了 Nvdia 的新视频会议功能在自闭症患者中的应用可能性，提出了深度伪造技术为人机交互（HCI）带来的影响，并提出了需要进一步调查的开放性问题。

    May, 2023

  • 使用微调的 YOLOv8 和计算机视觉技术进行马拉亚拉姆手语识别

    这篇论文提出了一种使用深度学习和计算机视觉技术进行马拉雅拉姆语手语识别的方法，解决了马拉雅拉姆语手语数据有限的问题，并展示了与其他手语识别系统相当的准确性。

    May, 2024

  • MeetDot：视频会议与实时翻译字幕

    MeetDot 是一个视频会议系统，支持 4 种语言的实时翻译字幕，使用了自动语音识别和机器翻译相结合，并通过重译策略实现流媒体语音的翻译，并在用户体验方面实现了多种功能，如流畅滚动字幕和减少字幕闪烁，并提供了一个内置的评估套件来优化核心的评估指标，同时还提供了一个语言游戏作为衡量系统全面性能的外在评估指标，将在未来开源。

    Sep, 2021