Nov, 2023

代理作为大脑，控制器作为小脑：在无人机上实现基于内容感知的代理

PDF
TL;DR本研究提出了一个新的产业机器人具身化代理范例，其采用 “代理为大脑，控制器为小脑” 的架构。我们的方法利用大型多模态模型（LMMs）在名为 AeroAgent 的代理框架中，针对产业环境中的无人机技术进行了针对性的设计。为了实现与机器人系统的无缝集成，我们引入了 ROSchain，这是一个连接基于 LMM 的代理与机器人操作系统（ROS）的专用链接框架。通过广泛的实证研究，包括对 Airgen 的模拟实验和真实案例研究，特别是在个体搜救行动中，我们报告了研究结果。结果表明，与现有的基于深度强化学习（DRL）的代理相比，AeroAgent 在复杂的真实场景中表现出更高的性能，凸显了具身化 LMM 在复杂真实世界情境中的优势。
industrial robotic agentsmultimodal modelsdrone technologyroschainsearch and rescue operations
发现论文，激发创造
  • 使用大语言模型模块化地构建合作体验智能体

    论文提出了一种新的基于大型语言模型的多智能体合作框架，在多种身体环境中测试并得到了良好的效果，其具备规划、沟通和与其他人类或智能体合作完成长期任务等能力，并且与人类沟通的模型更容易获得信任，这为未来的智能体合作研究奠定了基础。

    Jul, 2023

  • MindAgent：新兴游戏互动

    我们提出了一种新型基础设施，名为 MindAgent，用于评估游戏交互中的规划和协调能力，并引入了新的游戏场景和相关基准，以评估多智能体协作效率。我们使用新的自动度量 CoS 进行全面评估。我们希望我们对大型语言语料库学习的 LLMs 以及用于通用调度和协调的新基础设施的发现能够揭示如何获取这些技能的一些见解。

    Sep, 2023

  • LLM-Planner: 借助大型语言模型进行少样本基于实例的具身 agent 规划

    本研究使用大型语言模型 (Large Language Models, LLMs) 作为规划师，以完成视觉感知环境中的复杂任务的具有身体接口的代理人。研究提出了 LLM-Planner 方法进行 few-shot planning，同时提出通过物理接口增强 LLMs 的简单而有效的方法，实验结果表明该方法在 ALFRED 数据集上能够取得与使用全数据训练的基线模型相当的性能。

    Dec, 2022

  • 基于大型语言模型的游戏智能代理调查

    利用 LLMs 在复杂的电脑游戏环境中赋予游戏智能体人类般的决策能力，以推进人工智能 (AGI) 的发展，并提供了 LLM 基础的游戏智能体的综述，包括感知、记忆、思考、角色扮演、行动和学习的六个关键组成部分，调研了六种游戏类型的现有代表性 LLM 基础游戏智能体，并展望了未来的研究和发展方向。

    Apr, 2024

  • 从词语到行动：揭示 LLM 驱动的自主系统的理论基础

    从理论角度出发，研究大型语言模型在物理世界中解决决策问题的原因，通过层次化强化学习模型，证明预先训练的大型语言模型规划器通过上下文学习有效地进行贝叶斯聚合模仿学习，并引入探索策略避免线性遗憾。扩展该理论框架应用于环境的过渡模型推断和多智能体协调等场景。

    May, 2024

  • 基于大规模决策的大型语言模型代理控制：一种演员 - 评论家方法

    本研究论文提出了一种新的框架，旨在提高大规模多智能体环境中大型语言模型的协调和决策能力，通过实验证明了我们提出的方法在系统资源分配和机器人网格运输方面具有显著优势。

    Nov, 2023

  • 模拟中的 LLM 实验：用于数字孪生中的过程仿真参数化的大型语言模型多主体系统

    本文介绍了一种新颖的多智能体系统框架设计，利用大型语言模型（LLM）自动化数字孪生中的过程模拟参数化。我们提出了一个多智能体框架，包括观测、推理、决策和总结四种类型的智能体。通过启用 LLM 智能体与模拟模型之间的动态交互，该系统可以自动探索模拟的参数化，并使用启发式推理确定一组参数以控制模拟以实现目标。所提出的方法通过将 LLM 的启发式融入模拟模型，增强了模拟模型，并通过协助复杂的决策过程，增加了对用户的友好性并减轻了用户的认知负荷。通过案例研究证明了系统的有效性和功能，并在 GitHub 存储库中提供可视化演示。

    May, 2024

  • 走向自主系统：引入大型语言模型代理的灵活模块化生产系统

    本文提出了一个将大型语言模型（LLMs）、数字孪生和工业自动化系统相结合的新型框架，以实现生产过程的智能规划和控制，强调将 LLMs 集成到工业自动化系统中以实现更敏捷、灵活和自适应的生产流程的潜力并指出未来工作的关键见解和限制。

    Apr, 2023

  • 用于编排双臂机器人的大型语言模型

    利用大型语言模型（LLM）的语言感知和上下文学习能力，开发了基于 LLM 的双手动作协调系统（LABOR Agent），用于解决双手操作任务的时空协调问题，并通过在仿真环境中测试实验证明其接近最优性能。

    Apr, 2024

  • 多智能体协作：发挥智能 LLM 代理的力量

    本文提出了一种通过多智能体系统来增强大型语言模型（LLMs）能力的新框架，并通过人工智能领域的案例研究展示了这一框架的实用性和多样性。

    Jun, 2023