本文提出了一种基于自然语言的灵活性极高的人机协作接口，将大型语言模型(BERT和CLIP)的优势与轨迹信息相结合，通过多模态注意力变换实现对用户命令的编码，并将其与轨迹信息相结合。在包含机器人轨迹的数据集上进行模仿学习，并将轨迹生成过程视为序列预测问题，通过仿真轨迹实验和真实机器人实验验证了该系统的效果优异，并证明了自然语言接口在人机协作中的优越性。

Mar, 2022

本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。

Oct, 2022

使用预训练语言模型实现模式补全、序列建模、机器人控制等任务。

Jul, 2023

使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

Sep, 2023

该研究介绍了一种利用大型语言模型（LLMs）的能力生成通用长视野操作的基本任务条件的框架，用于对新颖物体和未知任务进行操作。这些任务条件用于指导长时程任务执行中动态运动基元（DMP）轨迹的生成和调整。我们还基于Pybullet创建了一个用于进行长时程任务评估的具有挑战性的机器人操纵任务套件。在模拟和现实环境中进行的大量实验证明了我们的框架在涉及新对象的熟悉任务和新颖但相关任务上的有效性，突显了大型语言模型在提升机器人系统的多功能性和适应性方面的潜力。

Oct, 2023

我们介绍了一种名为Robotic Vision-Language Planning (ViLa)的新方法，该方法结合了视觉-语言模型和长期规划，通过直接整合感知数据来生成可行步骤序列，以在广泛的开放世界操纵任务中展示其优势。

Nov, 2023

利用大型语言模型(大型语言模型)分析3D机器人轨迹数据和2D方向形状标注等任务，并引入基于前缀的提示机制，提高了性能，为未来的改进提供了基础。

Dec, 2023

该研究全面概述了大型语言模型（LLMs）和多模态LLMs在各种机器人任务中的整合，并提出了一种利用多模态GPT-4V结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明GPT-4V有效地提升了机器人在具身任务中的表现。对LLMs和多模态LLMs在各种机器人任务中的广泛调查和评估丰富了对以LLMs为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

Jan, 2024

大型语言模型在完成各种语言处理任务方面很成功，但在生成适当的控制序列时很容易与物理世界互动失败。我们发现主要原因是LLM没有与物理世界紧密连接。与现有基于LLM的方法相比，我们旨在解决这个问题，并探索在无训练范式下促使预训练LLM完成一系列机器人操作任务的可能性。为了将这些计划和控制序列与物理世界联系起来，我们开发了促使技术，通过刺激LLM来预测生成计划的后果并为相关对象生成可供性值。实验证明，LLM+A在各种语言条件下的机器人操作任务中的有效性，显示了我们的方法通过增强生成计划和控制的可行性来显著提高性能，并能够轻松推广到不同的环境。

Apr, 2024

利用大型语言模型（LLMs）和运动规划，提出了一种模块化方法Plan-Seq-Learn（PSL），将抽象语言和学习到的低级控制相结合，从头开始解决长期目标的机器人任务，并在超过25个具有挑战性的机器人任务中取得了最先进的结果。

May, 2024