本文提出使用深度强化学习作为一种可扩展的解决方案，来掌握带有多指手的接触丰富行为，并展示使用模型自由的深度强化学习算法在现实世界中可以学习各种复杂的行为，同时可以通过少量的人类演示来加速学习。

Oct, 2018

本文介绍Instruct2Act框架，利用大型语言模型将多模态指令映射为机器人操作任务所需的Python代码，采用Segment Anything Model (SAM) 和 CLIP等基础模型有效定位和分类物体，实现高效的机器人操作策略。

May, 2023

本研究通过模型强化学习、演示增强的方法，构建了一个能够直接在真实世界中学习联系丰富的灵巧操纵技能的系统MoDem-V2，在模拟和实际环境中进行了实证研究，为直接在真实世界中进行演示增强的视觉模型强化学习提供了成功的案例。

Sep, 2023

通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，我们在VIMA-BENCH上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了10%）。此外，我们还展示了我们的模型具有显著的情境学习能力。

Oct, 2023

本研究基于体验工具人和大型语言模型的融合，在长时序任务中通过引入颜色、尺寸、空间、算术和参考等多个方面的推理来进行桌面操作，提出了一个模拟基准测试过程，同时探索通过标题生成和可学习接口来弥合模态差距，以改进当前流行模型在长时序桌面操作任务中的表现。

Oct, 2023

这项研究介绍了一种无需演示的层次规划方法，能够处理复杂的长期任务，并展示了在面对新颖和以前未遇到的复杂任务时，模型具备强大的泛化能力。

Nov, 2023

通过在大型语言模型（LLMs）中引入物体的运动学知识，我们提出了一个运动学感知的提示框架，来生成各种物体操作的低层运动轨迹航点，从而实现智能机器人的通用操控。我们的实验结果表明，该框架在8个已知物体类别上表现优于传统方法，并且在8个未知的关节式物体类别上展现出强大的零样本能力。同时，我们在7个不同的物体类别上进行的真实世界实验也证明了该框架在实际场景中的适应性。

Nov, 2023

通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用fine-tuning方法，在保留MLLM的常识和推理能力的同时，为其提供操作能力。实验结果表明ManipLLM在模拟器和真实环境中均有出色表现。

Dec, 2023

LLM^3是一种基于大型语言模型（LLM）的全新的任务和运动规划（TAMP）框架，具有领域无关的接口，利用预训练的LLM的强大推理和规划能力来提出符号动作序列并选择运动规划的连续动作参数，并通过提示将运动规划反馈到LLM中，从而通过对运动失败进行推理来不断改进提案，解决TAMP问题，选择行动参数的有效性得到定量证明，并在实际应用中对物理机械臂进行定性实验。

Mar, 2024

基于大型语言模型（LLMs）的研究表明，通过合适的动作空间重新参数化，包括遵守与交互力和刚度相关的约束条件，能够成功地生成用于接触丰富和高精度操纵任务的策略，即使在噪声条件下也有效。

Apr, 2024