Jul, 2023

WebArena：一个构建自主代理的真实网络环境

PDF
TL;DR建立一个高度逼真和可重现的环境，专注于在网站上执行任务的智能代理，提供一组多样化、长期规划、模拟人类在互联网上例行执行的任务的基准任务以评估任务完成的功能正确性。
generative aiautonomous agentswebsitesbenchmark taskstask completions
发现论文，激发创造
  • VisualWebArena: 在现实视觉网络任务中评估多模态代理

    通过对多模态网络代理的性能进行评估，我们引入了 VisualWebArena，它是一个用于评估自主多模态代理在具有视觉基础任务方面性能的基准。我们对现有的自主代理进行了广泛的评估，并揭示了文本模型的几个限制以及现有多模态语言代理能力上的差距。

    Jan, 2024

  • WorkArena: Web 代理在解决常见知识工作任务方面有多大能力？

    使用基于大型语言模型的代理程序研究通过 web 浏览器与软件的交互。通过提出基于 ServiceNow 平台的 29 个任务的远程托管基准 WorkArena，以及设计和评估此类代理程序的环境 BrowserGym，我们对其性能进行了实证评估，发现目前代理程序在工作区域上有一些潜力，但在实现完全的任务自动化方面还存在相当大的差距。尤其值得注意的是，我们的分析揭示了开源和闭源 LLM（大型语言模型）之间的显著性能差异，突出了该领域未来研究和发展的重要方向。

    Mar, 2024

  • Arena-Web -- 自主导航方法的基于 Web 的开发和基准测试平台

    本文介绍了 Arena-Web，一个基于 web 的开发和评估套件，用于开发、训练和测试各种机器人平台和场景的 DRL 导航规划器。该界面旨在直观而富有吸引力，为非专业人员提供易于使用的技术，通过 Arena-Web，训练和开发深度强化学习代理人变得简单易行，无需编写一行代码。

    Feb, 2023

  • WebCanvas：在线环境下对网络代理进行基准测试

    WebCanvas 是一种创新的在线评估框架，用于有效解决 Web 交互的动态特性，包含评估指标、基准数据集和注释工具，并开源了可进行在线推理和评估的代理框架。

    Jun, 2024

  • Arena：多智能体智能评估平台和构建工具包

    介绍了一个名为 Arena 的多智能体通用评估平台，其中包含 35 个逻辑和表述多样的游戏，以及可视化的社会树和五种基本的多智能体奖励机制，为研究人员提供了一个易于发明和构建新的多智能体问题的建模工具包，还提供了五个最先进的深度多智能体强化学习基线的 Python 实现和一组我们可以使用不同的训练方案训练的每个游戏的 100 个最佳的代理 / 团队，作为评估群体表现的基础，以便研究人员可以在稳定和统一的标准下进行比较。

    May, 2019

  • 一个具有规划、长期上下文理解和程序综合的现实世界 Web 代理

    基于大规模语言模型的 WebAgent 在网页导航任务中通过规划和总结 HTML 文档，以 Python 程序的形式实现自然语言指令，实验结果显示成功率提升了 50% 以上，并且 HTML-T5 模型在解决基于 HTML 的任务上表现最好。

    Jul, 2023

  • AndroidWorld: 一个用于自主智能体动态基准测试的环境

    自主代理、AndroidWorld、奖励信号、编程任务工作流、计算机控制代理

    May, 2024

  • TimeArena: 塑造高效多任务语言智能体的时间感知模拟

    通过引入 TimeArena，我们在当前模拟环境中更好地反映了复杂的时间动态和约束，揭示了大型语言模型在有效多任务处理方面仍然落后于人类，并强调了在语言代理开发中提高时间意识的需求。

    Feb, 2024

  • WebShop: 面向可扩展的真实世界网络交互的基于场景语言智能体

    通过开发一个模拟的电子商务网站环境，使用强化学习、模仿学习和预训练图像和语言模型训练和评估多种代理人，以便理解指令、购买商品并在嘈杂的网页中执行动作，并分析代理人和人类的轨迹以提供以后的思路。

    Jul, 2022

  • OSWorld: 多模态代理在真实计算机环境中的开放式任务评测

    通过引入 OSWorld，我们创建了一个包含 369 个计算机任务的基准，以评估多模态代理在开放领域中执行任意应用程序所涉及的计算机任务的能力。在 OSWorld 上进行的全面评估为开发多模态通用代理提供了宝贵的洞见，这是以前的基准测试无法实现的。

    Apr, 2024