使用基于大型语言模型的代理程序研究通过 web 浏览器与软件的交互。通过提出基于 ServiceNow 平台的 29 个任务的远程托管基准 WorkArena，以及设计和评估此类代理程序的环境 BrowserGym，我们对其性能进行了实证评估，发现目前代理程序在工作区域上有一些潜力，但在实现完全的任务自动化方面还存在相当大的差距。尤其值得注意的是，我们的分析揭示了开源和闭源 LLM（大型语言模型）之间的显著性能差异，突出了该领域未来研究和发展的重要方向。

Mar, 2024

建立一个高度逼真和可重现的环境，专注于在网站上执行任务的智能代理，提供一组多样化、长期规划、模拟人类在互联网上例行执行的任务的基准任务以评估任务完成的功能正确性。

Jul, 2023

RLBench 是一个机器人学习的挑战性基准和学习环境，旨在加速包括强化学习、模仿学习、几何计算机视觉和少样本学习在内的一些视觉导向操作研究领域的进展。

Sep, 2019

WildBench 是一个自动评估框架，使用挑战性的真实用户查询来评估大型语言模型。它基于 1,024 个从超过一百万人机对话日志中精心选择的任务构建，并引入了两种具有可计算性的度量标准。通过使用任务特定的检查清单进行评估，并提供结构化解释来支持分数和比较，使得结果更可靠且易于解释。该框架中的度量标准在模型输出方面表现出与人工评分的很强相关性，具有较高的评估效率和成本效益。

Jun, 2024

该研究论文介绍了一个名为 ShortcutsBench 的大规模基准测试，用于评估基于 API 的代理程序在解决具有不同难度级别、任务类型和真实需求的任务中的性能。通过使用 5 个主流开源的以及 4 个闭源的大型语言模型进行实验，发现基于 API 的代理程序在处理与 API 选择、参数填充以及系统和用户请求必要信息相关的复杂查询时存在显著的局限性。

Jun, 2024

自主代理、AndroidWorld、奖励信号、编程任务工作流、计算机控制代理

May, 2024

LLM 基于智能体是有前途的工具，用于通过迭代规划和行动来完成复杂任务。然而，在缺乏专业知识进行任务时，这些智能体容易出现计划幻觉。为了解决这个问题，初步尝试通过整合外部与工作流相关的知识来提高规划的可靠性。我们形式化了不同格式的工作流知识，并提出了 FlowBench，这是用于工作流指导规划的第一个基准。FlowBench 涵盖了 6 个领域中的 51 个不同场景，并以多种格式呈现知识。为了评估 LLM 在 FlowBench 上的表现，我们设计了一个多层次评估框架。我们评估了不同格式的工作流知识的功效，结果表明目前的 LLM 智能体在满意的规划方面需要相当的改进。我们希望我们具有挑战性的基准可以为未来的智能体规划研究铺平道路。

Jun, 2024

大型语言模型在互动环境中以多轮开放式生成的方式评估 LLMs 作为代理的推理和决策能力，显示出商业 LLMs 和开源竞争对手之间的性能差距。

Aug, 2023

通过提出 MobileAgentBench 这一高效且用户友好的基准测试工具，对现有移动代理进行全面和系统性的性能比较，以解决应用程序状态无穷和可行操作序列定义模糊的挑战。

Jun, 2024

WebCanvas 是一种创新的在线评估框架，用于有效解决 Web 交互的动态特性，包含评估指标、基准数据集和注释工具，并开源了可进行在线推理和评估的代理框架。

Jun, 2024