基于语言条件的结构化数据模仿学习
这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。
Oct, 2020
本研究旨在从自然语言文本中获取信息，进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题，来提出一种有效的机器人控制学习方法，该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时，我们使用所提出的方法，成功地在机器人 CALVIN 基准测试中，超越了现有研究成果。
Apr, 2022
本研究通过语言条件机器人操作来提高算法在适应不熟悉环境中的泛化能力。在模拟环境和真实世界中的测试中，实验证明该方法的平均完成任务长度比 HULC 方法提高多达 2.5 倍，并且在真实世界的测试中也取得了相当好的表现。
May, 2023
本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。
Sep, 2021
本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。
Oct, 2022
通过数学方法评估语言条件化策略学习框架中技能与语言指令之间的关系，提出了一种称为语言条件化技能发现（LCSD）的端到端模仿学习方法，通过最大化语言和技能之间的互信息，在无监督的情况下学习离散潜在技能并利用技能序列重构高级语义指令，通过在 BabyAI、LORel 和 CALVIN 上进行大量实验，展示了我们方法在语言条件化的机器人导航和操作任务中的优越性，包括对未知任务的增强泛化能力、改进的技能可解释性和显著提高的任务完成成功率。
Feb, 2024
通过使用少量语言数据，我们提出了一种联合图像和目标条件策略的方法来解决语言指示问题，该方法获得了在不同场景下进行操作任务的指令跟随表现，并具有从标记数据中外推语言指示的能力。
Jun, 2023
本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。
Mar, 2015
基于视频 - 语言评论家的奖励模型，可以在现有的跨体现数据上进行训练，使用对比学习和时间排序目标，对来自单独强化学习执行者的行为轨迹进行评分。在 Meta-World 任务中，通过在 Open X-Embodiment 数据上训练奖励模型，实现了比仅稀疏奖励模型更高效的策略训练，尽管存在显著的领域差异。使用 Meta-World 上的具有挑战性任务推广设置的领域数据进一步证明，相比先前使用二元分类训练的语言条件奖励模型，静态图像或不利用视频数据中的时间信息，我们的方法实现了更高效的训练。
May, 2024