通过构建特定于代理的数据和有监督微调模型，以及设计有效激活大型语言模型推理能力的提示方法，我们提出了一种综合的方法来提高大型语言模型作为代理的性能，并通过在 AgentBench 的五个代理任务上的评估取得了令人满意的结果。

Mar, 2024

AgentTuning 是一种简单且通用的方法，可以提高大型语言模型在代理任务方面的能力，同时保持其一般能力。该方法通过使用 AgentInstruct 与通用领域的开源指令相结合的混合指令调整策略对 Llama 2 系列进行了指令调整，从而得到 AgentLM。评估结果显示，AgentTuning 能够提升语言模型的代理能力而不影响其一般能力，AgentLM-70B 在未知代理任务上与 GPT-3.5-turbo 相媲美，展现了广义的代理能力。我们在指定的网址开源了 AgentInstruct 和 AgentLM-7B、13B 和 70B 模型，为代理任务提供了开源和强大的替代方案。

Oct, 2023

通过使用较小型的语言模型以及多功能工具箱，设计了一个细粒度的三阶段检测框架，结合记忆机制，实现了 HalullAgent，使其能够主动选择适合的工具来检测多种幻觉类型，包括文本、代码和数学表达式，并利用中英文数据集进行合成检测轨迹以实现双语幻觉检测。大量实验证明，仅使用 2K 样本进行调优，HaluAgent 可以在各种任务和数据集上执行幻觉检测，在领域内和领域外数据集上实现与甚至超过 GPT-4 的性能而无需工具增强。

Jun, 2024

利用强大的分析、规划和决策能力，以及四个代理的协作，我们提出了一种 TrainerAgent 系统，它由任务、数据、模型和服务器代理组成，通过综合地从数据和模型的角度对用户定义的任务、输入数据和需求进行优化，从而获得满足要求的模型，并将这些模型作为在线服务部署，相较于传统模型开发，我们的系统以增加效率和质量的方式取得了显著进展。

Nov, 2023

大型语言模型在互动环境中以多轮开放式生成的方式评估 LLMs 作为代理的推理和决策能力，显示出商业 LLMs 和开源竞争对手之间的性能差距。

Aug, 2023

通过在复杂环境中使用 WebArena 基准测试，我们探索了大语言模型在长期任务中作为代理人自我提升性能的程度，通过自我改进的方式，在三种不同的合成训练数据混合情况下，我们实现了在 WebArena 基准测试中任务完成率的 31％提高，并额外提供了用于评估我们精调代理模型的性能、鲁棒性、功能和轨迹质量的新型评价指标。

May, 2024

利用 Fine-tuning 技术将语言模型（LMs）进行优化，生成语言智能体，以提升其性能，通过基于问题回答（QA）和谷歌搜索 API 的实验设计及多个发现，论文证明 Fine-tuning LMs 对语言智能体具有全面的益处。

Oct, 2023

通过采样和投票方法，我们发现大型语言模型（LLMs）的性能与代理数量成比例。此方法与现有的复杂方法无关，其增强程度与任务难度相关。我们在广泛的 LLM 基准上进行了综合实验，验证了我们的发现，并研究了可以促进该发现的特性。

Feb, 2024

通过 AgentOptimizer 提出了一种新的大型语言模型代理训练范式，通过更新代理的功能而不改变大型语言模型权重，通过回滚和提前停止策略来简化训练过程，可显著提高代理在各类下游任务中的性能。

Feb, 2024

通过在单一统一的机器学习范式中正式定义大型语言模型（LLM）的训练过程，包括预训练、监督微调和强化学习与人类反馈，我们可以获得推进 LLM 技术的重要见解。本文勾勒出 LLM 训练方法与两人博弈中代理人发展所采用的战略之间的相似之处，从博弈论、强化学习和多智能体系统的角度研究。我们提出了一种用基于语言游戏中代理人学习的方式重新构思 LLM 学习过程的框架。这个框架揭示了 LLM 发展中成功和挑战的创新视角，为解决对齐问题等战略考虑提供了新的理解。此外，我们的两人博弈方法为 LLM 训练提供了新颖的数据准备和机器学习技术。

Feb, 2024