Jun, 2024

弥合交流鸿沟：人工智能代理通过模仿学习手语

PDF
TL;DR通过从演示中学习，我们研究了通过获取非语言交流技能，特别是手语理解和表达方面的潜在应用，我们专注于对人工智能代理进行模仿学习，使用计算机视觉和深度学习从视频中提取信息，并使用强化学习使代理能够复制观察到的动作，这种方法消除了需要额外硬件的需求，我们成功地教授了涉及上半身（即臂和手）的 5 种不同的手势，为人工智能代理的高级沟通技能铺平了道路。
artificial agentsnon-verbal communicationimitation learningcomputer visionreinforcement learning
发现论文，激发创造
  • 一个实时的人工智能学习手语的系统

    开发一种基于人工智能的成本效益高、资源高效和开放的技术，旨在帮助人们学习和使用手语进行交流，以促进社会的包容性。该研究分析了基于人工智能的手语解决方案，特别聚焦美国手语，取得了令人满意的初步结果，并为进一步发展奠定了基础。

    Feb, 2024

  • 模仿交互智能

    通过虚拟环境中的交互式训练、行为测试和逆强化学习技术，实现了大规模人类行为模仿，提高了人工智能代理的交互能力，并成功解决了代理评估方面的挑战。

    Dec, 2020

  • 手语识别技术和算法的比较分析

    该研究比较了各种深度学习技术对手语的识别，旨在提供这一领域中最新方法和挑战的综合概述。

    May, 2023

  • 仿真：基于人类模仿的协作决策

    提出和评估一种新颖的方法，在不依赖任何存储数据或预训练的情况下，在 LLM 代理之间进行知识蒸馏，以实时保留人类角色扮演中的独特语境，并评估我们的系统在模拟的真实世界任务中表现更好。

    Mar, 2024

  • 语言条件下的机器人操作任务模仿学习

    这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

    Oct, 2020

  • 在模拟的 3D 世界中的基于场景语言学习

    通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

    Jun, 2017

  • HandMime：通过模仿学习进行手语手指拼写习得

    本文提出了一种无需额外信息就能从影片示例中学习手部微妙运动的方法，通过使用预训练的深度视觉模型和最新的强化学习算法（PP0）来训练机器人手模型复制手势运动，并演示了其在 6 个不同手语字母上的成功率。

    Sep, 2022

  • 一种基于 Pepper、Lightweight-Transformer 和 LLM 的手语识别系统

    本研究旨在使用轻量级深度神经网络架构，使人型机器人 Pepper 能够理解美国手语（ASL），促进非语言人机交互。我们首先介绍了一个针对嵌入式系统进行了优化的轻量级高效 ASL 模型，可以在保留计算资源的同时快速识别手势。其次，我们运用大型语言模型（LLMs）进行智能机器人交互。通过精心设计的提示工程，我们能够实现 Pepper 机器人生成自然的共语手势回应，为更有机、直观的人机对话奠定基础。最后，我们提供了一个集成的软件管道，体现了社交意识型人工智能交互模型的最新进展。利用 Pepper 机器人的能力，我们在实际场景中验证了我们方法的实用性和有效性。结果突出了通过非语言交互增强人机交互的巨大潜力，缩小沟通差距，使技术更易接近和理解。

    Sep, 2023

  • 通过交互式基于语境的语言指导重新定义具有代表性的代理人能力，改变以人为中心的 AI 协作

    本文介绍了一种交互式的 “体现代理” 系统，它具有适应性，能够有效地处理自然语言指令，并提供反馈。同时，还介绍了一种用于收集有关该系统的大量文本指令的众包工具，以及该系统具有学习能力的数据集和基线模型。

    May, 2023

  • 多智能体游戏中语言的出现：学习使用符号序列进行沟通

    通过玩转指代博弈，研究者们发现使用可微分方式（ST Gumbel-softmax estimator）的强化学习方法能够有效地解决学习沟通的问题，从而使得交互遵循自然语言的组成性和可变性。

    May, 2017