Oct, 2023

AgentTuning：为 LLMs 赋予通用的代理能力

PDF
TL;DRAgentTuning 是一种简单且通用的方法，可以提高大型语言模型在代理任务方面的能力，同时保持其一般能力。该方法通过使用 AgentInstruct 与通用领域的开源指令相结合的混合指令调整策略对 Llama 2 系列进行了指令调整，从而得到 AgentLM。评估结果显示，AgentTuning 能够提升语言模型的代理能力而不影响其一般能力，AgentLM-70B 在未知代理任务上与 GPT-3.5-turbo 相媲美，展现了广义的代理能力。我们在指定的网址开源了 AgentInstruct 和 AgentLM-7B、13B 和 70B 模型，为代理任务提供了开源和强大的替代方案。
发现论文，激发创造
  • 通过调整和多分支推理增强低参数 LLMs 的普通代理能力

    通过构建特定于代理的数据和有监督微调模型，以及设计有效激活大型语言模型推理能力的提示方法，我们提出了一种综合的方法来提高大型语言模型作为代理的性能，并通过在 AgentBench 的五个代理任务上的评估取得了令人满意的结果。

    Mar, 2024

  • 针对特定场景的 LLaMa 多任务指令调节：一项关于写作辅助的初步研究

    本文研究了使用指令驱动数据 fine-tune 的 LLMa 模型在写作场景下的性能，结果表明持续地使用写作数据对 LLMa 进行微调，可以显著提高它在写作任务上的表现，并为未来 LlMa 在特定场景中的微调提供了洞见。

    May, 2023

  • AgentBench: 评估语言模型为代理人

    大型语言模型在互动环境中以多轮开放式生成的方式评估 LLMs 作为代理的推理和决策能力，显示出商业 LLMs 和开源竞争对手之间的性能差距。

    Aug, 2023

  • 通过使用翻译指示进行多语言微调，引发大型语言模型的翻译能力

    本篇论文通过对一个多语种预训练语言模型 XGLM-7B 进行微调并给出指示进行多语种翻译的实验，展示了预训练语言模型在翻译任务中的较强能力，并发现其翻译能力依赖于对翻译指令的理解和语言之间的对齐，研究结果可启发模型改进。

    May, 2023

  • ModelGPT: 发挥 LLM 的能力进行定制模型生成

    通过使用 Large Language Models (LLMs)，我们提出了 ModelGPT 框架，以满足用户的特定需求，并以更快的速度生成定制化的 AI 模型，以实现更加便利和用户友好的人工智能模型。

    Feb, 2024

  • Agent-FLAN: 大型语言模型的高效代理调优数据和方法设计

    通过重新设计训练语料库，Agent-FLAN 可以有效地对语言模型进行微调，从而提高代理模型在各种评估数据集上的性能，此外，Agent-FLAN 还能显著减轻幻觉问题，并在略微提高通用能力的同时，不断提高语言模型的代理能力。

    Mar, 2024

  • 面向基于文本的教育环境的通用智能体: RL 与 LLMs 的整合研究

    通过将强化学习与大型语言模型结合，研究了在开放性文本学习环境中增强代理的泛化能力，提出了三种代理类型：基于强化学习的代理、基于大型语言模型的代理和融合两者的混合代理，以提高代理的性能和泛化能力，并通过 PharmaSimText 提供的基准测试验证了研究成果。结果表明，基于强化学习的代理在任务完成方面表现出色，但在提问诊断问题方面有所欠缺；相反，基于大型语言模型的代理在提问诊断问题方面表现较好，但在完成任务方面表现较差；而混合的大型语言模型辅助强化学习代理能够克服这些限制，凸显了将强化学习和大型语言模型相结合在开放性学习环境中开发高性能代理的潜力。

    Apr, 2024

  • 基于大型语言模型的游戏智能代理调查

    利用 LLMs 在复杂的电脑游戏环境中赋予游戏智能体人类般的决策能力，以推进人工智能 (AGI) 的发展，并提供了 LLM 基础的游戏智能体的综述，包括感知、记忆、思考、角色扮演、行动和学习的六个关键组成部分，调研了六种游戏类型的现有代表性 LLM 基础游戏智能体，并展望了未来的研究和发展方向。

    Apr, 2024

  • 专业代理 -- 将大型语言模型演变为具有人类级别能力的自主专家

    大型语言模型的出现催生了自然语言处理的重大进展，通过引入专业代理框架（PAgents）利用 LLM 的能力创建具有可控、专业级、互动型专长的自主代理，我们认为通过持续发展的专业知识，PAgents 可以重塑专业服务。本文旨在激发关于 LLM 的有前景的现实应用的讨论，我们认为 PAgents 的日益复杂和集成可能会导致人工智能系统在复杂领域展示专业掌握能力，服务于重要需求，并潜在地实现人工通用智能。

    Feb, 2024

  • TrainerAgent：基于 LLM 的多智能体系统实现可定制和高效的模型训练

    利用强大的分析、规划和决策能力，以及四个代理的协作，我们提出了一种 TrainerAgent 系统，它由任务、数据、模型和服务器代理组成，通过综合地从数据和模型的角度对用户定义的任务、输入数据和需求进行优化，从而获得满足要求的模型，并将这些模型作为在线服务部署，相较于传统模型开发，我们的系统以增加效率和质量的方式取得了显著进展。

    Nov, 2023