通过自然语言条件化的模拟学习方法，结合像素感知、自然语言理解和多任务连续控制的神经网络，可以在无需任务或语言标签的情况下，显著提高任务成果，同时将语言注释成本降低到总数据量的不到1％。

May, 2020

这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

Oct, 2020

本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。

Oct, 2022

本论文介绍了一种名为DIAL的方法，利用半监督的语言标签，结合CLIP的语义理解，将知识传播到大型未标记的数据集中，并在增强的数据集上训练语言条件下的策略，从而使模仿学习策略获得新的能力并推广到原始数据集中未见过的60个新指令。

Nov, 2022

介绍了通过内置的自主机器人来扩大LLM响应的空间，根据语言能力、身体实体、环境和用户喜好挑选、修补、选择LLM提供的响应，从而使机器人能够完成75%以上的任务一次学习并显著减少需要人工监督的程度。

Jun, 2023

在这篇论文中，我们提出了一种通过自然交互实现复杂行为的增量学习系统，并在一个人形机器人上进行实现。我们利用大型语言模型（LLMs）对机器人行为进行高层次编排，通过在交互控制台中生成Python语句来调用机器人的感知和动作，实现交互循环，通过人类指令、环境观测和执行结果反馈给LLM来生成下一个语句，从而实现了通过交互学习改进机器人行为的目的。

Sep, 2023

通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，我们在VIMA-BENCH上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了10%）。此外，我们还展示了我们的模型具有显著的情境学习能力。

Oct, 2023

通过大型语言模型，我们研究了在具有高度泛化能力的视觉行为克隆代理中，从视觉观察中进行复杂多模态机器人操作任务。我们提出了NBCagent，一个语言条件下的持续学习行为克隆代理，在面对一系列具有挑战性的未知任务时，可以不断学习新的机器人操作技能的观察知识。我们设计了一个特定于技能的进化规划器来进行知识解耦，可以将新的技能特定知识不断嵌入到我们的NBCagent代理中。同时，我们还提出了一个技能共享的语义渲染模块和技能共享的表示蒸馏模块，有效地在语义和表示方面传递抗遗忘的技能共享知识，进一步解决了旧技能的灾难性遗忘问题。最后，我们设计了一个持续的机器人操作基准，并进行了一些昂贵的实验，证明了我们方法的显著性能。

Mar, 2024

语言驱动的机器人技能研究中，通过利用大规模语言模型的高级推理能力应用于低级机器人控制，继续面临的挑战是获取多样化的基础技能。本研究介绍了一种完全由语言模型驱动的技能发现框架，通过提供的场景描述和机器人配置生成任务提案，并逐步获得新的技能来完成任务，使用强化学习过程以及独立的视觉-语言模型确保学到的行为的可靠性和可信度，从而使机器人能够高效地提出和完成高级任务。

May, 2024

本研究针对持续和互动机器人学习的挑战，提出了一种利用自然语言对话与人类用户互动，从而查询和学习视觉运动技能及任务相关信息的框架。通过整合新颖的视觉运动控制策略ACT-LoRA，研究揭示机器人能在仅通过五次演示便实现100%的新技能学习准确率，并在与非专家用户对话中成功学习新任务，展示出显著的学习能力与潜在影响。

Sep, 2024