大型语言模型与创造性机器人工具使用
通过引入 RoboCoder 综合基准和自主学习框架,提高机器人在复杂环境中的普适性,并结合实时环境反馈不断更新和完善行动代码,使得大型语言模型在处理复杂任务时表现出显著提升。
Jun, 2024
该研究提出了一种基于大型语言模型 (LLMs) 的闭环框架 LLMs As Tool Makers (LATM),通过该框架,LLMs 可以自己创建可重用的工具以解决问题,并验证了该方法在包括 Big-Bench 任务在内的复杂推理任务中的有效性,使用 GPT-4 作为工具制造者和 GPT-3.5 作为工具用户,LATM 的性能与使用 GPT-4 制造和使用工具的性能相当,而推理成本显著降低。
May, 2023
通过使用基于大型语言模型的规划器,我们克服了当前固定技能集的限制,提出了一种用于数据和时间高效教授机器人这些技能的方法,该系统可以重复使用新习得的技能,展示了开放世界和终身学习的潜力。
Sep, 2023
通过创新的自动协作框架,借鉴实际机器人开发者的经验,利用多个大型语言模型在分析、编程和测试等不同角色中合作,深入挖掘用户需求、生成精确代码,并根据用户反馈调整参数以实现复杂的机器人开发任务,无需专业知识,仅依靠非专家参与。
Feb, 2024
理解和评估机器人的灵活智能是一项复杂的任务,该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献,以及它们面临的潜在挑战。
Nov, 2023
该研究全面概述了大型语言模型(LLMs)和多模态 LLMs 在各种机器人任务中的整合,并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集,我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解,并提供了展望未来的关于人机环境交互的见解。
Jan, 2024
本文提出了一种新颖的方法,即通过利用大型语言模型 (LLMs) 定义奖励参数,从而优化和实现各种机器人任务,并结合实时优化器 MuJoCo MPC,使用户可以交互地创造行为并快速获得结果反馈。作者在一个模拟仿真机器人四足动物和一种机械手进行了 17 个任务的评价,证明了这种方法成功解决了 90% 的任务,并在真实机器人手臂上验证了方法的有效性,包括非握持推动等复杂操作技能。
Jun, 2023
CREATOR 是一种新颖的框架,使大型语言模型创建自己的工具变得容易,该方法在数学问题求解方面的表现显著优于现有方法,并有助于知识转移和提高模型的适应性。
May, 2023
该论文介绍了一个综合框架,旨在增强基于大型语言模型的代理在实际系统中的任务规划和工具使用能力,通过 API 检索器选择相关 API、LLM 精调器调整基础 LLM 以增强规划和 API 调用能力、以及演示选择器用于区分难以辨别的 API 并进行上下文学习,验证结果显示每个组件及整合框架的有效性。
Nov, 2023