Sep, 2024

将每个应用程序转变为代理：朝着高效的人机交互迈进，基于API优先的LLM代理

HTML
PDF
TL;DR本研究针对当前多模态大语言模型（MLLM）在复杂任务中响应速度慢和可靠性低的问题，提出了AXIS框架，优先通过应用程序接口（API）而非用户界面（UI）进行交互。实验表明，AXIS能将任务完成时间减少65%-70%，并降低认知负荷38%-53%，同时保持97%-98%的准确率，推动了新的人机计算交互框架及应用提供者的UI设计原则。
发现论文，激发创造
  • 你只看屏幕: 多模态行动训练智能体

    自主用户界面 (UI) 代理旨在通过与用户界面的自动交互来促进任务自动化。为了对齐于大型语言模型 (LLMs) 的输入-输出需求，现有方法在沙盒环境下开发，依赖外部工具和应用特定的 API 将环境解析为文本元素并解释预测的动作。为了减轻这些挑战，我们引入了Auto-UI，这是一个多模态的解决方案，直接与界面交互，无需环境解析或依赖应用程序相关的 API。此外，我们提出了一种链式动作技术——利用一系列中间的先前动作历史和未来动作计划——以帮助代理决定执行什么动作。我们在一个新的设备控制基准 AITW 上评估了我们的方法，该基准包含 30K 个独特的指令，涵盖应用操作、网络搜索和网购等多步任务。实验结果显示，Auto-UI 实现了 90% 的动作类型预测准确率和 74% 的整体动作成功率。

    Sep, 2023

  • 迈向更好的人机协作：评估LLM驱动应用中的任务效用

    介绍了一种新的框架AgentEval，用于验证大型语言模型（LLM）驱动应用程序的实用性，并提供一套与特定应用程序目标相符的评估标准，以全面评估其实用性。

    Feb, 2024

  • OSWorld: 多模态代理在真实计算机环境中的开放式任务评测

    通过引入OSWorld，我们创建了一个包含369个计算机任务的基准，以评估多模态代理在开放领域中执行任意应用程序所涉及的计算机任务的能力。在OSWorld上进行的全面评估为开发多模态通用代理提供了宝贵的洞见，这是以前的基准测试无法实现的。

    Apr, 2024

  • Windows代理竞技场：大规模评估多模态操作系统代理

    本研究针对现有评估工具在真实环境中应用的局限性，提出了Windows代理竞技场，这是一种 reproducible 的通用环境，专注于Windows操作系统，支持多个任务的评估。创新性地开发超过150个多样化任务，并引入了新的多模态代理Navi，显著提高了评估的效率，为未来的代理开发和数据生成开辟了新的研究机会。

    Sep, 2024

  • Windows代理竞技场：大规模评估多模态操作系统代理

    本研究解决了在真实环境中评估计算机代理表现的挑战，包括现有基准测试的限制及其评估速度缓慢的问题。通过引入Windows代理竞技场，我们提供一个专注于Windows操作系统的可重复环境，创建了150多个多样化任务，旨在提高代理的规划和工具使用能力，这一评估方法可在20分钟内完成完整测试。最显著的发现是新代理Navi在Windows领域的成功率为19.5%，比无辅助人类低，但在Web基准Mind2Web上表现良好，展示了该领域未来研究的潜力。

    Sep, 2024

  • 代理S：一个像人类一样使用计算机的开放代理框架

    本文提出了Agent S，一个开放的代理框架，通过图形用户界面实现与计算机的自主交互，旨在通过自动化复杂的多步骤任务来转变人机交互。研究解决了获取领域特定知识、长任务规划和动态非均匀界面处理三个关键挑战，提出了经验增强的分层规划，显示出在多个操作系统上的广泛泛化能力。

    Oct, 2024

  • 基础模型驱动的图形用户界面代理：全面综述

    本研究针对基础模型尤其是大型语言模型在图形用户界面代理中的应用进行了综述，填补了相关文献中对不同数据集、框架和应用的整合性分析的空白。文章提出了一种统一框架，展示了之前研究中的核心组件和分类法，并识别出关键挑战与未来研究方向，旨在推动该领域的进一步发展。

    Nov, 2024

  • 大型语言模型驱动的图形用户界面代理：一项调查

    本文研究了大型语言模型（LLM）驱动的图形用户界面（GUI）代理，填补了当前对这一新兴领域理解的空白。通过分析GUI代理的历史演变、核心组成部分和先进技术，提出了关于数据收集和训练、专门化GUI代理开发以及评估标准的研究问题。同时，本文识别出关键研究空白，并为未来的发展提供了指导，助力用户通过简单的对话命令完成复杂的多步骤任务。

    Nov, 2024

  • 大型语言模型驱动的GUI代理：综述

    本研究针对近年来大型语言模型（LLM）在图形用户界面（GUI）自动化中的应用，填补了对LLM驱动GUI代理的系统性综述的空白。本文通过探讨其历史演变、核心组件及先进技术，提出了一种新的思路，旨在帮助研究人员和从业者克服挑战，发挥LLM驱动GUI代理的潜力，对未来的研究和应用具有重要的指导意义。

    Nov, 2024

  • 大型语言模型驱动的图形用户界面代理：综述

    本研究聚焦于大型语言模型驱动的图形用户界面（GUI）代理，填补了现有研究在自动化领域的空白。文章提出了一种系统性的分析方法，探讨了这些代理的历史演变、核心组件和先进技术。研究表明，这些代理在多步任务处理中的应用潜力巨大，能够显著改善用户与软件的交互体验。

    Nov, 2024