大型语言模型和多模态大型语言模型最近已经在人工智能领域引起了革命。在这个背景下，机器人编码教育受到了越来越多的关注。本文探讨了机器人编码教育中的一个重要趋势，并测试了几种主流的大型语言模型在传统编码任务和更具挑战性的机器人代码生成任务中的表现。我们的结果表明，GPT-4V 在所有的测试中表现优于其他模型，但在生成块图像方面遇到了困难。

Feb, 2024

该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

Jan, 2024

通过利用多模态大语言模型（MLLMs）的预训练能力，我们介绍了 RoboLLM 框架以应对 ARMBench 挑战中的视觉感知任务，在实际仓库场景下的大规模机器人操作数据集中，RoboLLM 不仅优于现有基线方法，还大幅减少了模型选择和调优的工作量。

Oct, 2023

通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

Sep, 2023

本研究论文通过利用大型语言模型构建了一个名为 RoboTool 的系统，通过接受自然语言指令并输出可执行的机器人控制代码，实现了机器人在包含隐含物理约束和长期规划的任务中的创造性使用工具的能力。通过广泛的实验验证，RoboTool 在处理否则无法完成的任务方面表现出了熟练的水平，从而扩展了机器人系统的能力。

Oct, 2023

通过创新的自动协作框架，借鉴实际机器人开发者的经验，利用多个大型语言模型在分析、编程和测试等不同角色中合作，深入挖掘用户需求、生成精确代码，并根据用户反馈调整参数以实现复杂的机器人开发任务，无需专业知识，仅依靠非专家参与。

Feb, 2024

使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

Sep, 2023

通过使用语言模型生成丰富的仿真环境和专家演示，在模拟数据上进行多任务策略训练，极大地增强了任务级泛化能力，并实现了对未见过的现实任务的强大转移能力。

Oct, 2023

理解和评估机器人的灵活智能是一项复杂的任务，该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献，以及它们面临的潜在挑战。

Nov, 2023

我们提出了一种新颖的多机器人协作方法，利用预训练的大型语言模型（LLMs）进行高层通信和低层路径规划，通过机器人之间的交流和集体推理任务策略，并生成子任务计划和任务空间路径，应用于多臂运动规划，以加速轨迹规划，并在环境中提供反馈，如碰撞检测，以促使 LLM 代理改进其计划和路径点。我们提出了 RoCoBench，一个包含六个任务的广泛多机器人协作场景的基准测试，伴随着一个纯文本数据集用于代理表示和推理。我们在实验证明了我们方法的有效性 - 它在 RoCoBench 的所有任务上都取得了高成功率，并且能够适应任务语义的变化。我们的对话设置提供了高度的可解释性和灵活性 - 在真实世界的实验中，我们展示了 RoCo 可以轻松地与人工智能交互，用户可以与机器人代理合作完成任务。请参考项目网站以观看视频和获取代码。

Jul, 2023