Nov, 2023

Lumos：具有统一数据、模块化设计和开源 LLMs 的学习代理

PDF
TL;DR引入 Lumos 是一个新颖的框架，用于训练语言代理，它采用统一的数据格式和基于开源大规模语言模型（LLMs）的模块化架构。Lumos 包括规划、基础和执行三个不同的模块，通过高质量的子目标和动作的注释进行训练，实现了与当前的最先进代理相当或更好的性能，并具有多个关键优势。
lumoslanguage agentsmodular architectureopen-source llmscomplex question answering
发现论文，激发创造
  • Lumos：赋予多模式 LLMs 场景文本识别能力

    我们介绍了 Lumos，这是第一个具备文本理解能力的端到端多模态问答系统。Lumos 的核心是一个场景文本识别（STR）组件，用于从第一人称视角图像中提取文本，输出结果被用来增强多模态大型语言模型（MM-LLM）的输入。本文探讨了在构建 Lumos 时遇到的与 STR 质量、整体延迟和模型推理相关的各种挑战，以及克服这些障碍所采用的系统架构、设计选择和建模技术。我们还对每个组件进行了全面的评估，展示了高质量和高效率。

    Feb, 2024

  • ModelScope-Agent：使用开源大型语言模型构建可定制化的代理系统

    建立了 ModelScope-Agent 框架的工作介绍了一种将开放源代码的 LLMs 作为控制器的通用和可定制的代理框架，从而使 LLMs 具备工具使用能力，实现了工具使用数据收集、工具检索、工具注册、内存控制、定制模型训练和实际应用评估等全面的框架，最终展示了基于该框架的 ModelScope Community 的实际智能助理 ModelScopeGPT。

    Sep, 2023

  • 使用大语言模型模块化地构建合作体验智能体

    论文提出了一种新的基于大型语言模型的多智能体合作框架，在多种身体环境中测试并得到了良好的效果，其具备规划、沟通和与其他人类或智能体合作完成长期任务等能力，并且与人类沟通的模型更容易获得信任，这为未来的智能体合作研究奠定了基础。

    Jul, 2023

  • 小型 LLM 是弱工具学习者：多 LLM 代理

    我们提出了一个模块化的多语言模型框架，将大型语言模型能力分解为规划器、调用器和摘要生成器，并通过两阶段训练范式有效地训练该框架，该框架在各种工具使用基准测试中表现出超越传统单语言模型方法的效果，凸显了其在工具学习中的功效和优势。

    Jan, 2024

  • 通过调整和多分支推理增强低参数 LLMs 的普通代理能力

    通过构建特定于代理的数据和有监督微调模型，以及设计有效激活大型语言模型推理能力的提示方法，我们提出了一种综合的方法来提高大型语言模型作为代理的性能，并通过在 AgentBench 的五个代理任务上的评估取得了令人满意的结果。

    Mar, 2024

  • LLM360: 实现完全透明的开源语言模型

    LLM360 是一个完全开源的大型语言模型（LLMs）项目，旨在通过提供训练代码、数据、模型检查点和中间结果，支持透明和可重现的端到端 LLMs 训练过程，并大力推进 LLMs 在领域中的发展。

    Dec, 2023

  • TrainerAgent：基于 LLM 的多智能体系统实现可定制和高效的模型训练

    利用强大的分析、规划和决策能力，以及四个代理的协作，我们提出了一种 TrainerAgent 系统，它由任务、数据、模型和服务器代理组成，通过综合地从数据和模型的角度对用户定义的任务、输入数据和需求进行优化，从而获得满足要求的模型，并将这些模型作为在线服务部署，相较于传统模型开发，我们的系统以增加效率和质量的方式取得了显著进展。

    Nov, 2023

  • Lumen: 开放大型多模态模型的多样视觉能力

    大型多模态模型（LMM）是计算机视觉领域的热门研究课题，近期的趋势是进一步拓展和增强 LMM 的感知能力。我们提出了一种名为 Lumen 的新型 LMM 架构，将 LMM 的感知能力学习分解为任务无关和任务特定阶段，在 COCO 检测基准上显著超越现有的基于 LMM 的方法，并展现了对其他视觉任务的无缝可扩展性。

    Mar, 2024

  • AgentOhana: 为有效的 Agent 学习设计统一的数据和训练流程

    AgentOhana 是一种全面解决多样化数据来源的异构性挑战的解决方案，它通过标准化和统一代理轨迹为智能体训练优化创建了一个通用的数据加载器，并保持了不同数据源之间的平衡和独立的随机性，同时介绍了一种专门为 AI 智能体设计的大型动作模型 xLAM-v0.1，在各种基准测试中展现出卓越的性能。

    Feb, 2024

  • ROS-LLM: 具备任务反馈和结构化推理的 ROS 框架

    通过自然语言提示和来自机器人操作系统（ROS）的上下文信息，我们提出了一个直观的非专业人士机器人编程框架。该框架集成了大型语言模型（LLMs），使非专业人士能够通过聊天界面向系统表达任务要求。它具有与 ROS 集成的 AI 代理与大量开源和商用 LLMs 的连接、从 LLM 输出中提取行为和执行 ROS 动作 / 服务的自动化提取、支持三种行为模式（顺序、行为树、状态机）、模仿学习以将新的机器人行为添加到可能的动作库中以及通过人类和环境反馈实现 LLM 反思的功能。大量实验证实了该框架在各种场景（包括长时间视野任务、桌面重新排列和远程监督控制）中的鲁棒性、可扩展性和多功能性。为了促进我们框架的使用和支持我们结果的可复制性，我们已经将我们的代码开源。您可以在以下网址访问：this https URL

    Jun, 2024