Apr, 2024

数字代理的自主评估和优化

PDF
TL;DR使用通用自动评估器能够显著提高网络导航和设备控制代理的性能，并通过精确的推理成本、设计模块性以及准确性之间的权衡实验了多个评估模型；通过微调和推理时指导使用这些评估器来提高现有代理的性能，在 WebArena 受欢迎的基准测试中，不需要任何额外的监督，使性能达到了 29% 的提升，并在具有挑战性的领域转移场景中实现了 75% 的相对改进。
domain-general automatic evaluatorsweb navigationdevice controlevaluation modelsdigital agents
发现论文，激发创造
  • VisualWebArena: 在现实视觉网络任务中评估多模态代理

    通过对多模态网络代理的性能进行评估，我们引入了 VisualWebArena，它是一个用于评估自主多模态代理在具有视觉基础任务方面性能的基准。我们对现有的自主代理进行了广泛的评估，并揭示了文本模型的几个限制以及现有多模态语言代理能力上的差距。

    Jan, 2024

  • WebArena：一个构建自主代理的真实网络环境

    建立一个高度逼真和可重现的环境，专注于在网站上执行任务的智能代理，提供一组多样化、长期规划、模拟人类在互联网上例行执行的任务的基准任务以评估任务完成的功能正确性。

    Jul, 2023

  • WebCanvas：在线环境下对网络代理进行基准测试

    WebCanvas 是一种创新的在线评估框架，用于有效解决 Web 交互的动态特性，包含评估指标、基准数据集和注释工具，并开源了可进行在线推理和评估的代理框架。

    Jun, 2024

  • 端到端、目标驱动的网络导航

    该论文提出一种目标驱动的网络导航模型作为评估具有自然语言理解和部分观察环境下规划能力的智能体的基准任务，并且将其应用于包括维基百科和 Jeopardy! 的数据集上进行广泛评估，展示了该任务在衡量未来进展方面的潜力。

    Feb, 2016

  • 大型语言模型能够在网络代理任务上进行自我改进

    通过在复杂环境中使用 WebArena 基准测试，我们探索了大语言模型在长期任务中作为代理人自我提升性能的程度，通过自我改进的方式，在三种不同的合成训练数据混合情况下，我们实现了在 WebArena 基准测试中任务完成率的 31％提高，并额外提供了用于评估我们精调代理模型的性能、鲁棒性、功能和轨迹质量的新型评价指标。

    May, 2024

  • 关于具身导航代理的评估

    人工智能中探讨在三维环境下的熟练的移动操作是一个主要研究主题，为了协调指南与评估协议，本文介绍了实证方法的不同问题声明及概述，介绍了评估措施和提供了可用于基准测试的标准情境。

    Jul, 2018

  • 使用自我对战近似交互式人类评估的开放域对话系统

    本文提出一种交互式的人工评估对话质量的方法，并介绍了一种基于自我对话的度量方式，该方式可以更好地捕捉对话模型的质量，同时使用了情感和语义连贯性等维度。通过对多个模型的实验比较，研究表明，这种度量方式优于目前已知的所有自动化方法，同时也优于静态会话的人工评估。最后，开放性地共享出研究基于交互式评估所构建的数据集和平台以供其它研究者使用。

    Jun, 2019

  • 使用深度生成模型对自主代理能力进行评估

    文章介绍了一种基于深度生成建模的概率世界模型，使得自主代理机器人能够可靠地沟通其在所需任务中的能力并且可以计算出任务完成的精确概率分布。

    Mar, 2022

  • 关于数据规模对计算机控制代理的影响

    研究使用 LLMs 对自主代理进行优化的方法，通过收集更多的数据，可以在域内获得较好的性能，但对于域外的高层任务来说，仅仅收集更多的数据可能不足以获得稳健的性能。

    Jun, 2024

  • 基于指令微调基础模型的多模式网络导航

    本文提出了一种基于视觉 - 语言模型的指令驱动表征，通过离线培训方式对 WebGUM 模型进行了训练，使其在视觉感知、HTML 理解和多步推理能力上表现出色，相比现有最佳方法提高了 31.9％以上。

    May, 2023