本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

Sep, 2021

本研究旨在从自然语言文本中获取信息，进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题，来提出一种有效的机器人控制学习方法，该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时，我们使用所提出的方法，成功地在机器人 CALVIN 基准测试中，超越了现有研究成果。

Apr, 2022

通过使用少量语言数据，我们提出了一种联合图像和目标条件策略的方法来解决语言指示问题，该方法获得了在不同场景下进行操作任务的指令跟随表现，并具有从标记数据中外推语言指示的能力。

Jun, 2023

这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

Oct, 2020

通过自然语言条件化的模拟学习方法，结合像素感知、自然语言理解和多任务连续控制的神经网络，可以在无需任务或语言标签的情况下，显著提高任务成果，同时将语言注释成本降低到总数据量的不到 1％。

May, 2020

基于视频 - 语言评论家的奖励模型，可以在现有的跨体现数据上进行训练，使用对比学习和时间排序目标，对来自单独强化学习执行者的行为轨迹进行评分。在 Meta-World 任务中，通过在 Open X-Embodiment 数据上训练奖励模型，实现了比仅稀疏奖励模型更高效的策略训练，尽管存在显著的领域差异。使用 Meta-World 上的具有挑战性任务推广设置的领域数据进一步证明，相比先前使用二元分类训练的语言条件奖励模型，静态图像或不利用视频数据中的时间信息，我们的方法实现了更高效的训练。

May, 2024

该研究论文探讨了使用粗略轨迹草图作为任务表示的方法，称为 RT-Trajectory，该方法通过有效地执行新任务，克服了现有语言条件和目标条件策略的局限性，具有广泛的泛化能力。

Nov, 2023

最近的任务与动作规划研究表明，使用质量标记数据对语言监督的机器人轨迹进行控制策略训练显著提高了智能体任务成功率。然而，这类数据稀缺性在推广这些方法到一般使用案例时存在重大障碍。为了解决这个问题，我们提出了一个自动化框架，通过借鉴 Foundation Models (FMs) 的最新提示策略，包括大型语言模型（LLMs）和视觉语言模型（VLMs），将轨迹数据分解为基于时间限制和自然语言的描述性子任务。我们的框架提供了由时间和语言描述的较低级别子任务组成的全面轨迹描述。为了严格评估我们的自动标记框架的质量，我们提供了一种算法 SIMILARITY 来生成两个新度量标准，即时间相似度和语义相似度。这些度量标准用于衡量两个子任务分解之间的时间对齐和语义逼真度，即 FM 子任务分解预测和基准子任务分解之间的对比。我们的结果显示时间相似度和语义相似度都高达 90% 以上，而随机基线只有 30%，在多个机器人环境中证明了我们提出的框架的有效性。我们的研究结果为构建多样化、大规模的语言监督数据集以改进机器人的任务和动作规划提供了可能。

Mar, 2024

本文提出了一个精细度更高的注释，以便在自然语言指令下更好地完成环境中的导航，为此使用了带有细致的注释的 Room-to-Room（R2R）基准数据集。并引入有效的子指令注意力和移位模块，在每个时间步选择并关注单个子指令，实现了此子指令模块，与四个最新的代理基线模型进行了比较，并展示了我们提出的方法改进了所有四个代理的性能。

Apr, 2020

本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

Sep, 2022