Sep, 2024

SECURE：基于语义的未觉知环境下的具身对话机器人终身学习

HTML
PDF
TL;DR本研究解决了“未觉知重组”这一交互式任务学习的挑战性场景，即在机器人对关键概念不知情的情况下进行环境操控。我们提出的SECURE框架通过具身对话修正不足的领域模型，使机器人能够在用户纠正反馈的基础上，学习利用新的概念，这种能力使机器人能够普遍适应后续任务并有效学习。
发现论文，激发创造
  • 两个DRAGGN的故事：一种混合方法解释以行动和目标为导向的指令

    本研究提出了深度递归动作-目标基础网络（DRAGGN）用于任务的基础和执行，其处理输入的任何类别的自然语言，并且通用于未见过的环境，在仿真机器人的实验中取得成功，这使我们更接近于为人机交互实现稳健的自然语言理解。

    Jul, 2017

  • 以行动示范为导向，而非口头指示：将自然语言融入机器人可用性

    利用预训练技能约束自然语言模型以便进行真实世界的物理执行，从而实现语言驱动机器人。

    Apr, 2022

  • 机器人多目标强化学习中基于回顾的指令实现

    本文提出使用机器人强化学习来学习自然语言目标表示的问题。通过提出回顾指令重播机制、seq2seq模型和基于语言的学习任务，解决了自然语言的组合性和触觉数据和行为之间的联系问题，并展示了学习性能的提高。

    Apr, 2022

  • 通过共享自主权进行机器人操作的在线语言纠正——“不，往右边

    本论文提出了一种基于语言纠正的潜在行为框架（LILAC），旨在解决当前指令跟随机器人缺乏适应性和学习效率低的问题，通过在执行过程中在线纳入和适应自然语言纠正（“向右”，或“不，向书”），从而实现对丰富的操纵领域的探索和高精度的操作，提高了任务完成率和用户体验。

    Jan, 2023

  • SEAL: 用于感知机器人动作的语义框架执行和定位

    本文介绍了一种针对机器人操纵动作的语义框架表示方法，并引入了SEAL问题和SeFM算法来提高机器人在大型环境中的任务执行效率。

    Mar, 2023

  • HandMeThat：物理和社交环境中的人机通信

    通过HandMeThat数据集，我们评估了指令理解和遵循在物理和社会环境下的全面表现，结果显示离线和在线强化学习算法在HandMeThat上表现不佳，说明在物理和社会人机通信和交互方面有很大的改进空间。

    Oct, 2023

  • 基于基础模型的复杂机器人指令可验证跟随

    使机器人能够遵循复杂的自然语言指令是一个重要而具有挑战性的问题。我们提出了一种名为LIMP的方法，利用基础模型和时间逻辑生成以指令为条件的语义地图，使机器人能够验实地遵循具有开放词汇和复杂时空约束的丰富和长期的指令，并构建了一种可解释的指令表示，展示了LIMP在三个真实环境中的应用，并演示了在35个复杂时空指令中广泛适用且易于部署到新颖无结构领域的能力。

    Feb, 2024

  • 无尽的机器人体感学习

    通过大型语言模型，我们研究了在具有高度泛化能力的视觉行为克隆代理中，从视觉观察中进行复杂多模态机器人操作任务。我们提出了NBCagent，一个语言条件下的持续学习行为克隆代理，在面对一系列具有挑战性的未知任务时，可以不断学习新的机器人操作技能的观察知识。我们设计了一个特定于技能的进化规划器来进行知识解耦，可以将新的技能特定知识不断嵌入到我们的NBCagent代理中。同时，我们还提出了一个技能共享的语义渲染模块和技能共享的表示蒸馏模块，有效地在语义和表示方面传递抗遗忘的技能共享知识，进一步解决了旧技能的灾难性遗忘问题。最后，我们设计了一个持续的机器人操作基准，并进行了一些昂贵的实验，证明了我们方法的显著性能。

    Mar, 2024

  • 通过对话实现持续的技能与任务学习

    本研究针对持续和互动机器人学习的挑战，提出了一种利用自然语言对话与人类用户互动，从而查询和学习视觉运动技能及任务相关信息的框架。通过整合新颖的视觉运动控制策略ACT-LoRA，研究揭示机器人能在仅通过五次演示便实现100%的新技能学习准确率，并在与非专家用户对话中成功学习新任务，展示出显著的学习能力与潜在影响。

    Sep, 2024

  • 通过对话进行持续技能和任务学习

    本研究解决了机器人在与人类用户互动时进行持续技能学习的挑战。我们提出了一种框架，结合自然语言对话和技能嵌入，实时查询并学习用户请求的技能与任务。研究表明，机器人能够以100%的准确率从用户那里以少量示范学习新技能，并在现实任务中实现75%的成功率，展示了对话式学习的潜力。

    Sep, 2024