Mar, 2024

NatSGD: 自然人机交互中机器人学习的包含语音、手势和演示的数据集

PDF
TL;DRNatSGD 是一个多模式人机交互数据集，在机器学习和人机交互研究交叉领域起到基础性的作用；我们通过训练机器人理解多模态人类指令的任务来展示其效果，并强调了同时考虑语音和手势的重要性。
multimodal human-robot interactionspeechgesturehri datasetnatsgd
发现论文，激发创造
  • 语音手势生成对话生成对话生成对话生成：机器人和具身化代理的手势生成

    本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

    Sep, 2023

  • 在线识别不完整手势数据，以实现协作机器人的接口

    本文介绍了一个用于大量静态手势和动态手势分类识别的人机交互框架，利用佩戴式传感器进行数据收集，并采用降维和神经网络等处理技术，最终实现了在实时环境下的高准确率手势识别。

    Apr, 2023

  • 学习个体交谈手势风格

    本研究旨在对 “野外” 单个说话人的单调发言进行语音输入并生成合理的手臂动作，通过训练无标签视频并将我们的模型与基准方法进行量化比较，证明了我们提出的模型在肢体运动与语音之间的交叉模式翻译方面显着优于基准方法，并且我们发布了一个大型的视频数据集以支持研究。

    Jun, 2019

  • 机器人学习社交技能：人型机器人共语言手势生成的端到端学习

    本文提出了一种基于学习的共语手势生成模型，从 52 小时的 TED 演讲中学习，并成功地生成了各种手势，包括像征性、隐喻性、指示性和节奏性手势。该模型通过主观评估，被认为与人类行为类似，与语音内容相匹配。另外展示了与 NAO 机器人在实时工作中进行共语手势的场景。

    Oct, 2018

  • 从文本、音频、说话者身份的三模态上下文生成言语手势

    本文提出了一种基于多模态上下文和对抗训练的自动生成手势模型，使用新的手势生成度量标准和主观人类评估表明，该模型优于现有的端到端生成模型。

    Sep, 2020

  • 为基于理解语境的语言模型收集交互式多模态数据集

    本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

    Nov, 2022

  • 基于语音识别的工具传递中的动态手势特征人机适应

    基于手势识别和动态动作识别的人机协作框架在 UR5e 机器人平台上展示出卓越的性能，提供了高效的工具传递，同时不显著干扰人类意图。

    Sep, 2023

  • 从真实环境到虚拟环境的人机协作中以通信为重点的机器学习模型的系统调整

    虚拟现实在多个领域中得到了证明：从游戏、医学和培训到人机协作界面的开发，它能够帮助设计师在超越真实环境限制的情况下探索应用，并开发创新的解决方案和体验。对于在虚拟领域借助自然而直观的手势实现协同机器人操作，需要创建大量的数据集，以便使工作界面易于学习和灵活添加手势。由于计算或经济限制，这可能具有一定的挑战性，因此将在真实环境中表现良好的深度学习模型调整到虚拟领域可能是解决方案。本文提出了一个系统的框架，通过虚拟数据集的有限大小实现从真实到虚拟的适应，并提供了创建策划数据集的指导方针。最后，虽然手势被视为通信模式，但所提供的指南和建议是通用的，适用于其他模式，如身体姿势和面部表情，这些模式在真实领域中有大量可用的数据集，需要适应到虚拟领域。

    Jul, 2023

  • RobotSlang 基准：对话驱动的机器人定位和导航

    该论文介绍了一种基于自然语言对话的机器人定位与导航任务基准测评 RobotSlang，并提出了从对话历史记录中学习的自适应定位与导航。研究结果表明，通过该方法可以训练出可控制实际机器人平台的智能体。

    Oct, 2020

  • 桌面人机交互的多模态手势识别数据集

    手势识别是一种不可或缺的自然高效人机交互技术组成部分，特别是在桌面级应用中，可以显著提升人们的生产力。本研究建立了一个名为 GR4DHCI 的数据集，其独特之处在于其固有的自然性、直观性和多样性，其主要目的是作为开发桌面级便携应用的宝贵资源。GR4DHCI 包括超过 7000 个手势样本和 382,447 帧的立体红外和骨骼模态。我们还通过将 27 个不同的手部位置纳入数据集中解决了桌面交互中手部定位的差异问题。建立在 GR4DHCI 数据集的基础上，我们进行了一系列实验研究，结果表明本文提出的细粒度分类块可以提高模型的识别准确性。这篇论文中提出的数据集和实验结果有望推动桌面级手势识别研究的进展。

    Jan, 2024