用于编排双臂机器人的大型语言模型
论文提出了一种新的基于大型语言模型的多智能体合作框架,在多种身体环境中测试并得到了良好的效果,其具备规划、沟通和与其他人类或智能体合作完成长期任务等能力,并且与人类沟通的模型更容易获得信任,这为未来的智能体合作研究奠定了基础。
Jul, 2023
理解和评估机器人的灵活智能是一项复杂的任务,该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献,以及它们面临的潜在挑战。
Nov, 2023
该研究全面概述了大型语言模型(LLMs)和多模态LLMs在各种机器人任务中的整合,并提出了一种利用多模态GPT-4V结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集,我们的结果表明GPT-4V有效地提升了机器人在具身任务中的表现。对LLMs和多模态LLMs在各种机器人任务中的广泛调查和评估丰富了对以LLMs为中心的具身智能的理解,并提供了展望未来的关于人机环境交互的见解。
Jan, 2024
这篇论文研究了对语言指导的机器人团队的任务规划问题,通过使用大型语言模型(LLMs)和基于分散式的LLM规划器来提高任务成功率,并采用符合预测(CP)方法来量化分布式不确定性,使机器人能够在任务中根据自身的不确定性作出决策。
Feb, 2024
大型语言模型在完成各种语言处理任务方面很成功,但在生成适当的控制序列时很容易与物理世界互动失败。我们发现主要原因是LLM没有与物理世界紧密连接。与现有基于LLM的方法相比,我们旨在解决这个问题,并探索在无训练范式下促使预训练LLM完成一系列机器人操作任务的可能性。为了将这些计划和控制序列与物理世界联系起来,我们开发了促使技术,通过刺激LLM来预测生成计划的后果并为相关对象生成可供性值。实验证明,LLM+A在各种语言条件下的机器人操作任务中的有效性,显示了我们的方法通过增强生成计划和控制的可行性来显著提高性能,并能够轻松推广到不同的环境。
Apr, 2024
扩展RLBench以进行双手操作的模拟基准测试,提供13项新任务和23个独特的任务变体,其中每个任务要求高度的协调和适应性。通过引入多种先进方法和PerAct2语言条件行为克隆代理,实现语言处理与动作预测的高效集成,使机器人能够理解和执行用户指定目标的复杂双手任务。
Jun, 2024
本研究解决了类人机器人在非结构化环境中进行自主运动与操控任务的挑战。提出了一种基于语言模型的新框架,使机器人能够根据文本指令自主规划行为并执行低级任务,同时观察并纠正执行过程中的失败。实验结果验证了该方法在智能机器人任务中的有效性和应用潜力。
Aug, 2024
本研究针对现有类人机器人在整体协调和任务规划方面的不足,提出了一种创新框架,通过结合强化学习和全身优化生成机器人动作,并构建层次任务图,促进低层执行与高层规划的衔接。研究表明,基于语言模型的规划器能够有效适应新的运动操控任务,展示出在非结构化场景中对自由文本指令的高自动化响应能力。
Sep, 2024