通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用 fine-tuning 方法，在保留 MLLM 的常识和推理能力的同时，为其提供操作能力。实验结果表明 ManipLLM 在模拟器和真实环境中均有出色表现。

Dec, 2023

利用多模态大型语言模型（MLLMs）通过前期低层互动经验提示来纠正自主交互修正机器人系统中的姿态预测，实验结果表明我们的 AIC MLLM 可以通过与交互经验提示来高效纠正失效样本。

Jun, 2024

大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

Oct, 2023

通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

Jun, 2024

在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

Mar, 2023

通过使用多模式语言模型从图像输入中提供自动化的偏好反馈来指导决策的研究，展示了一种能够理解机器人操纵任务中轨迹视频的多模式语言模型 CriticGPT，该模型能够提供分析和偏好反馈，并验证了所生成的偏好标签的有效性，实验评估表明其对新任务具有有效的泛化能力，并在 Meta-World 任务上的性能展示了 CriticGPT 的奖励模型能有效指导策略学习，超越了基于最新的预训练表示模型的奖励。

Feb, 2024

通过利用多模态大语言模型（MLLMs）的预训练能力，我们介绍了 RoboLLM 框架以应对 ARMBench 挑战中的视觉感知任务，在实际仓库场景下的大规模机器人操作数据集中，RoboLLM 不仅优于现有基线方法，还大幅减少了模型选择和调优的工作量。

Oct, 2023

基于大型语言模型的全局控制策略结合了语言输入的解释和处理能力，为多样化和复杂的机器人操作丰富了控制机制。

Jun, 2024

通过集成视觉编码器与 Mamba 模型，RoboMamba 同时提供了机器人推理和动作能力，并且在模型的微调和推断过程中保持了高效的计算速度。

Jun, 2024

该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

Jan, 2024