CAMON:基于 LLM 对话的多对象导航协作智能体
论文提出了一种新的基于大型语言模型的多智能体合作框架,在多种身体环境中测试并得到了良好的效果,其具备规划、沟通和与其他人类或智能体合作完成长期任务等能力,并且与人类沟通的模型更容易获得信任,这为未来的智能体合作研究奠定了基础。
Jul, 2023
提出了一种创新性的框架 Co-NavGPT,将大型语言模型(LLMs)作为多机器人合作视觉目标导航的全局规划器,通过编码探索环境数据,为每个机器人分配探索边界,实现高效的目标搜索,实验结果表明 Co-NavGPT 在成功率和效率方面优于现有模型,展示了 LLMs 在多机器人协作领域的巨大潜力。
Oct, 2023
我们提出了一种新颖的多机器人协作方法,利用预训练的大型语言模型(LLMs)进行高层通信和低层路径规划,通过机器人之间的交流和集体推理任务策略,并生成子任务计划和任务空间路径,应用于多臂运动规划,以加速轨迹规划,并在环境中提供反馈,如碰撞检测,以促使 LLM 代理改进其计划和路径点。我们提出了 RoCoBench,一个包含六个任务的广泛多机器人协作场景的基准测试,伴随着一个纯文本数据集用于代理表示和推理。我们在实验证明了我们方法的有效性 - 它在 RoCoBench 的所有任务上都取得了高成功率,并且能够适应任务语义的变化。我们的对话设置提供了高度的可解释性和灵活性 - 在真实世界的实验中,我们展示了 RoCo 可以轻松地与人工智能交互,用户可以与机器人代理合作完成任务。请参考项目网站以观看视频和获取代码。
Jul, 2023
应用大型语言模型(LLMs)在各种任务和社会模拟中取得了显著进展,但它们在任务导向的社会背景中的协调能力尚未得到充分探索。为了弥合这一差距,我们引入了协作生成代理,为基于 LLMs 的代理赋予一致的行为模式和解决任务的能力。我们将这些代理置于一个模拟的招聘会环境中进行案例研究,以审查它们的协调能力。我们提出了一个新颖的框架,赋予协作生成代理人类般的推理能力和专业技能。我们的评估结果表明,这些代理显示出有希望的性能。然而,我们也发现了限制,阻碍了它们在更复杂的协调任务中的效果。我们的工作对于 LLMs 在任务导向的社会模拟中的作用和发展提供了有价值的见解。
Oct, 2023
该研究介绍了使用大型语言模型在多智能体协调方面的有效性评估,构建了 LLM-Co 框架来使 LLMs 能够进行协调游戏,并展示了 LLMs 在不同方面的评估结果,从而强调了 LLMs 在复杂协调环境中的潜力。
Oct, 2023
提出了 Cooperative Vision-and-Dialog Navigation 数据集,定义了 Navigation from Dialog History 任务,使用序列到序列模型解决人机对话中机器人导航的问题,并进一步证明历史对话越长,性能越好。
Jul, 2019
我们提出了一种新型基础设施,名为 MindAgent,用于评估游戏交互中的规划和协调能力,并引入了新的游戏场景和相关基准,以评估多智能体协作效率。我们使用新的自动度量 CoS 进行全面评估。我们希望我们对大型语言语料库学习的 LLMs 以及用于通用调度和协调的新基础设施的发现能够揭示如何获取这些技能的一些见解。
Sep, 2023
该研究提出了一个用于视觉和语言导航的具有身体感知的语言模型(VELMA),它能够通过人类书写的导航指令中提取位置信息和使用 CLIP 算法来处理图像信息并实现与真实街景地图的交互,相比先前的研究,在两个数据集中,VELMA 完成任务的成功率相比前者提高了 25%-30%
Jul, 2023