自我修正的大型语言模型 (SC-MLLM) 在机器人操作中表现出色，通过自动检测和纠正失败动作，提高了操作准确性。

May, 2024

通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用 fine-tuning 方法，在保留 MLLM 的常识和推理能力的同时，为其提供操作能力。实验结果表明 ManipLLM 在模拟器和真实环境中均有出色表现。

Dec, 2023

通过引入 “对象中心化指导增强 (OCI)” 框架，将高度语义化和信息密集的语言指导与位置提示相结合，利用多模态大型语言模型 (MLLM) 将物体位置知识编织到自然语言指导中，从而帮助政策网络掌握多样操纵的动作，并通过一系列模拟和现实世界的机器人任务，证明使用我们增强的指令训练的机器人操作策略优于仅依赖传统语言指令的策略。

Jan, 2024

大型语言模型在完成各种语言处理任务方面很成功，但在生成适当的控制序列时很容易与物理世界互动失败。我们发现主要原因是 LLM 没有与物理世界紧密连接。与现有基于 LLM 的方法相比，我们旨在解决这个问题，并探索在无训练范式下促使预训练 LLM 完成一系列机器人操作任务的可能性。为了将这些计划和控制序列与物理世界联系起来，我们开发了促使技术，通过刺激 LLM 来预测生成计划的后果并为相关对象生成可供性值。实验证明，LLM+A 在各种语言条件下的机器人操作任务中的有效性，显示了我们的方法通过增强生成计划和控制的可行性来显著提高性能，并能够轻松推广到不同的环境。

Apr, 2024

该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

Aug, 2023

本论文提出了一种基于语言纠正的潜在行为框架（LILAC），旨在解决当前指令跟随机器人缺乏适应性和学习效率低的问题，通过在执行过程中在线纳入和适应自然语言纠正（“向右”，或 “不，向书”），从而实现对丰富的操纵领域的探索和高精度的操作，提高了任务完成率和用户体验。

Jan, 2023

通过在大型语言模型（LLMs）中引入物体的运动学知识，我们提出了一个运动学感知的提示框架，来生成各种物体操作的低层运动轨迹航点，从而实现智能机器人的通用操控。我们的实验结果表明，该框架在 8 个已知物体类别上表现优于传统方法，并且在 8 个未知的关节式物体类别上展现出强大的零样本能力。同时，我们在 7 个不同的物体类别上进行的真实世界实验也证明了该框架在实际场景中的适应性。

Nov, 2023

我们提出了一种名为 In-Context Abstraction Learning（ICAL）的方法，通过从次优演示和人类反馈中构建多模态体验洞察记忆，将 VLMs 将轨迹抽象为一个通用程序，显著提高了检索增强的 LLM 和 VLM 代理的决策能力。

Jun, 2024

提出一种交互学习框架 CEILing，利用来自人类教师的纠正和评估反馈，来训练一个随机策略，从而有效地解决了机器人在视觉观测中进行复杂动作操作的问题。

Oct, 2021

通过聚合多模态演示的图像信息到相应的语言部分的密集潜在空间，我们提出了一种称为 AIM 的通用轻量级框架来解决多模态 ICL 的两个问题。

Jun, 2024