NIPSNov, 2016

使用多模态深度强化学习训练交互式人形机器人

PDF
TL;DR通过让人形机器人玩井字棋的学习方法，成功探索了多模态深度强化学习、机器人视觉感知和交互等方向，并利用语音、视觉和手势等方式让机器人在该游戏中实现了高效而自然的交互。
multimodal deep reinforcement learninghumanoid robotnoughts and crossesspeech, vision, and gesturesefficient learning
发现论文，激发创造
  • 机器人通过多模态深度强化学习获得社交智能

    本文提出了使用多模式深度 Q 网络（MDQN）的方法，通过试错法让机器人从与人类的互动中收集数据并从高维感知信息中学习人类的交互行为，以使机器人能够具备与人类一样的交互技能。在与人类的相互作用 14 天后，本文表明机器人成功地学会了基本的人机交互技能。

    Feb, 2017

  • 面向个性化情感交互的多模态社交机器人

    本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

    Oct, 2021

  • 与环境对话：使用大型语言模型进行交互式多模态感知

    在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

    Mar, 2023

  • 视觉与触觉的整合：自监督学习的多模态接触任务表示

    本文使用自我监督的方式学习了一种紧凑的多模态表示方法，将触觉和视觉反馈结合起来，以改善高维输入控制策略的样本效率，该方法在模拟和实际机器人实验中均表现出鲁棒性和广泛泛化能力。

    Oct, 2018

  • 学习多模态感知的社交机器人导航的研究

    自主移动机器人需要通过其载有的传感器 (如 LiDAR 和 RGB 相机) 感知环境，并做出适当的导航决策，为了在人类居住的公共空间中导航，这个导航任务不仅仅是避开障碍物，还需要考虑周围的人类及其意图，以对应社会规范进行导航行为的微小变化，机器学习方法在以数据驱动的方式捕捉这些复杂而微妙的社交互动方面显示出了有效性，而无需显式手工制作简化模型或代价函数，考虑到多种可用传感器模态和学习方法的效率，本文通过使用大规模真实数据集对使用多模态感知学习社交机器人导航进行了全面的研究，该研究分析了在不同社交场景中的全局和局部规划水平上的社交机器人导航决策，并将单模态和多模态学习与一组经典导航方法进行对比，同时从学习的角度分析了训练和泛化性能，我们还进行了一个人体研究，探究了使用多模态感知进行学习如何影响感知到的社交合规性，结果表明，与单模态学习相比，多模态学习在数据集和人体研究中具有明显优势，我们开源了代码，供社区在未来研究中使用多模态感知学习社交机器人导航。

    Sep, 2023

  • 展示、关注和互动：通过神经关注 Q 网络实现可感知的人机社交互动

    通过多模式深度关注循环 Q 网络，机器人在与人交互 14 天后表现出类似人的社交互动技能，同时学会了以可感知和社交接受的方式响应复杂的人类行为。

    Feb, 2017

  • 理解视觉和触觉：学习接触丰富任务的多模态表征

    本文提出一种使用自我监督的方法学习机器人多模态的传感输入表示，来提高学习策略的样本效率，以期应对传统方法在在处理未结构化环境下的接触丰富型操作上的局限性。在模拟环境和物理机器人实验中验证了该方法的有效性。

    Jul, 2019

  • 实际人机协作强化学习

    本研究通过一个协同迷宫游戏设计，用深度强化学习技术实现了人机共同协作。研究结果证明人机共同协作相互影响，在时间的推进下不断适应并建立起相应策略，这为人机智能的协作提供了可行的方案。

    Mar, 2020

  • 面向任务的多模态层次强化学习策略：视觉对话

    通过多模态层次强化学习框架和状态适应技术，实现了语音和图像的目标驱动对话。在图像猜谜游戏中进行了实验，取得了良好的效果。

    May, 2018

  • 读动即玩（R2-Play）：多模态游戏指令决策转换器

    本文针对人工智能中发展通用型代理的目标，研究了多任务学习和决策网络以及多模态游戏指令对代理的指导与改进作用，并通过实验证明多模态游戏指令的引入显著提升了决策变换器在多任务和泛化能力方面的表现。

    Feb, 2024