May, 2023

基于基本技能先验的语言条件下的非结构化数据模仿学习

PDF
TL;DR本研究通过语言条件机器人操作来提高算法在适应不熟悉环境中的泛化能力。在模拟环境和真实世界中的测试中，实验证明该方法的平均完成任务长度比 HULC 方法提高多达 2.5 倍，并且在真实世界的测试中也取得了相当好的表现。
language-conditioned robot manipulationimitation learningunfamiliar environmentszero-shot settinggeneralization
发现论文，激发创造
  • 语言条件下的机器人模仿学习对非结构化数据的影响因素

    本研究旨在从自然语言文本中获取信息，进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题，来提出一种有效的机器人控制学习方法，该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时，我们使用所提出的方法，成功地在机器人 CALVIN 基准测试中，超越了现有研究成果。

    Apr, 2022

  • 基于语言条件的结构化数据模仿学习

    通过自然语言条件化的模拟学习方法，结合像素感知、自然语言理解和多任务连续控制的神经网络，可以在无需任务或语言标签的情况下，显著提高任务成果，同时将语言注释成本降低到总数据量的不到 1％。

    May, 2020

  • 语言条件下的机器人操作任务模仿学习

    这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

    Oct, 2020

  • 关于基于语言条件技能发现的互信息思考与模仿学习

    通过数学方法评估语言条件化策略学习框架中技能与语言指令之间的关系，提出了一种称为语言条件化技能发现（LCSD）的端到端模仿学习方法，通过最大化语言和技能之间的互信息，在无监督的情况下学习离散潜在技能并利用技能序列重构高级语义指令，通过在 BabyAI、LORel 和 CALVIN 上进行大量实验，展示了我们方法在语言条件化的机器人导航和操作任务中的优越性，包括对未知任务的增强泛化能力、改进的技能可解释性和显著提高的任务完成成功率。

    Feb, 2024

  • 利用视觉可供性在非结构化数据上进行语言基础建设

    本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。

    Oct, 2022

  • CALVIN: 一种针对长时间跨度机器人操作任务的语言条件策略学习基准

    本文提出了 CALVIN（通过语言和视觉组合动作）这一开放源代码数据集，目的是让机器人代理能够通过追踪无限制的语言指令来解决许多长期性的机器人操纵任务，并支持传感器套件的灵活规定。在零 - shot 条件下，实验证明基于多环境下的学习的基线模型在 CALVIN 任务中表现不佳，因此本数据集对开发学习如何将人类语言与世界模型相关联的创新代理具有重要意义。

    Dec, 2021

  • 从离线数据和众包注释中学习语言相关机器人行为

    本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

    Sep, 2021

  • 基于语言条件的语义搜索导向的机器人操作任务策略

    我们提出了一种基于语言条件的语义搜索方法，从可用的示范数据集中获取在线搜索策略，在 CALVIN 基准测试中超过了基线性能，并展现了强大的零样本适应能力，对于扩展基于在线搜索策略的任务具有巨大的潜力。

    Dec, 2023

  • BC-Z：利用机器人模仿学习实现无需先学习任务的泛化

    本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化，当扩展真实机器人的数据采集到 100 个不同的任务时，我们发现此系统可以实现 24 个未见过的操作任务，平均成功率为 44%。

    Feb, 2022

  • 在预训练语言条件下的不确定性感知部署

    大规模机器人策略、通用机器人、不确定性感知的部署、模仿学习代理、任务完成率。

    Mar, 2024