该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

Aug, 2023

通过引入 RoboCoder 综合基准和自主学习框架，提高机器人在复杂环境中的普适性，并结合实时环境反馈不断更新和完善行动代码，使得大型语言模型在处理复杂任务时表现出显著提升。

Jun, 2024

设计了一个灵活的智能体工程框架，着重规划和执行，适用于多个领域的复杂应用，提供可靠性的工业应用，并提出了确保多个自主智能体共同解决任务的可扩展、灵活和协作式工作流技术。

Jun, 2024

本研究论文通过利用大型语言模型构建了一个名为 RoboTool 的系统，通过接受自然语言指令并输出可执行的机器人控制代码，实现了机器人在包含隐含物理约束和长期规划的任务中的创造性使用工具的能力。通过广泛的实验验证，RoboTool 在处理否则无法完成的任务方面表现出了熟练的水平，从而扩展了机器人系统的能力。

Oct, 2023

通过引入跨团队合作（CTC）框架，实现协同的团队制定各种决策并在跨团队合作环境中进行沟通，从而提高软件开发中的质量，展示了多智能体合作的潜力和广泛适应性。

Jun, 2024

通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

Jun, 2024

通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

Sep, 2023

基于大型语言模型的人机协作研究旨在解决 LLM 智能代理在适应动态环境和完全理解人类需求方面的不足，在此工作中，我们介绍了复杂任务解决中基于 LLM 的人机协作问题，并提出了一种基于强化学习的人机协作方法 ReHAC，该方法通过策略模型确定人类干预的最佳时机，为此我们构建了一个供离线强化学习环境训练该策略模型的人机协作数据集，验证测试结果证实了模型的有效性，研究结果表明，人类和 LLM 智能代理的协同努力通过精心计划的有限人类干预显著提高了复杂任务的性能。数据集和代码可在此链接获取：this https URL

Feb, 2024

我们提出了一种新颖的多机器人协作方法，利用预训练的大型语言模型（LLMs）进行高层通信和低层路径规划，通过机器人之间的交流和集体推理任务策略，并生成子任务计划和任务空间路径，应用于多臂运动规划，以加速轨迹规划，并在环境中提供反馈，如碰撞检测，以促使 LLM 代理改进其计划和路径点。我们提出了 RoCoBench，一个包含六个任务的广泛多机器人协作场景的基准测试，伴随着一个纯文本数据集用于代理表示和推理。我们在实验证明了我们方法的有效性 - 它在 RoCoBench 的所有任务上都取得了高成功率，并且能够适应任务语义的变化。我们的对话设置提供了高度的可解释性和灵活性 - 在真实世界的实验中，我们展示了 RoCo 可以轻松地与人工智能交互，用户可以与机器人代理合作完成任务。请参考项目网站以观看视频和获取代码。

Jul, 2023

通过设计一个块世界环境，在这个环境中，两个拥有独特目标和技能的语言代理需要通过行动和自然语言交流合作来建立一个目标结构，并采用中间推理步骤来模拟合作者的状态并识别和纠正执行错误，最终的实验结果表明语言代理具有很强的基础能力，并且我们的方法显著改进了评估指标。

Mar, 2024