ICLRApr, 2024

基于多样配置的移动设备控制代理的基准测试

PDF
TL;DR通过引入 B-MoCA 基准测试，本研究针对移动设备控制代理开发自主代理，提高用户交互的效率和可访问性。在 Android 操作系统上创建了一个真实的基准测试，定义了 60 项常见日常任务，并通过随机化功能来评估代理的泛化性能。尽管代理们在执行简单任务方面展示出熟练性，但在复杂任务上的低效性凸显了未来研究改进其效果的重要机遇。
autonomous agentsmobile devicesbenchmarkb-mocaefficiency
发现论文，激发创造
  • MobileAgentBench: 移动 LLM 代理的高效且用户友好的基准测试

    通过提出 MobileAgentBench 这一高效且用户友好的基准测试工具，对现有移动代理进行全面和系统性的性能比较，以解决应用程序状态无穷和可行操作序列定义模糊的挑战。

    Jun, 2024

  • AndroidWorld: 一个用于自主智能体动态基准测试的环境

    自主代理、AndroidWorld、奖励信号、编程任务工作流、计算机控制代理

    May, 2024

  • 移动 Agent：具有视觉感知的自主多模移动设备 Agent

    本文介绍了一个基于多模式大语言模型的移动设备代理应用程序 Mobile-Agent，它可以通过视觉感知工具识别和定位应用程序前端界面中的视觉和文本元素，并根据感知到的视觉上下文自主规划和分解复杂操作任务，通过逐步操作导航移动应用程序。通过基于 Mobile-Eval 的综合评估，实验结果表明 Mobile-Agent 在移动设备操作方面表现出了显著的准确性和完成率。

    Jan, 2024

  • 自主大型语言模型代理实现驱动意图的移动 GUI 测试

    DroidAgent 是一个用于自动化 GUI 测试的智能代理，它基于大规模语言模型和支持机制以实现对 Android 应用的语义驱动自动测试，在实验评估中展现了较高水平的自主性和与应用的深度交互，根据测试结果，DroidAgent 相较于现有的 GUI 测试技术具有更高的活动覆盖率。

    Nov, 2023

  • Mobile-Agent-v2: 移动设备操作助手通过多智能体协作实现有效导航

    通过多代理体系架构，Mobile-Agent-v2 为移动设备操作任务提供了较好的导航能力，相比于单代理架构的 Mobile-Agent，在任务完成方面取得了 30% 以上的改进。

    Jun, 2024

  • AppAgent: 多模态代理与智能手机用户

    该研究介绍了一种基于大型语言模型的多模态代理框架，旨在操作智能手机应用程序，通过简化的操作空间模拟人类的点击和滑动等交互，避免了系统后端访问的需求，并扩大了其适用性。代理的功能核心是其创新的学习方法，通过自主探索或观察人类示范学习并构建知识库以执行跨不同应用的复杂任务，通过在 10 个不同应用程序中进行 50 个任务的广泛测试，证明了代理在处理各种高级任务上的熟练程度。

    Dec, 2023

  • 复杂 Android 环境下大型语言模型代理的漏洞分析

    大型语言模型 (LLM) 在特定领域的软件（如浏览器和游戏）中赋予智能代理执行复杂任务的能力。然而，应用于操作系统等通用软件系统时，LLM 代理面临三个主要挑战：广泛且动态的操作空间，跨应用程序的合作需求以及符合用户约束条件的最优解。本研究设计了环境和基准测试工具 AndroidArena，通过可扩展的、半自动化的方法构建了该基准。研究结果发现，即使是最先进的 LLM 代理在跨应用程序情景和遵守特定约束方面也存在困难。此外，通过对反思能力的失败进行实证分析，提出的探索策略将成功率提高了 27%。该工作首次揭示了 LLM 代理的细粒度弱点，并为未来研究提供了方向。AndroidArena 的环境、基准以及评估代码已在链接中公开发布。

    Feb, 2024

  • 关于数据规模对计算机控制代理的影响

    研究使用 LLMs 对自主代理进行优化的方法，通过收集更多的数据，可以在域内获得较好的性能，但对于域外的高层任务来说，仅仅收集更多的数据可能不足以获得稳健的性能。

    Jun, 2024

  • MobileAIBench: 用于设备上应用场景的 LLM 和 LMM 基准测试

    通过使用较少参数和定量化等模型压缩技术，MobileAIBench 评估了多尺寸、定量化水平和任务，并在真实设备上测量延迟和资源消耗，旨在提供在移动平台上部署大型语言模型和多模态模型的性能和可行性洞察，加速移动 AI 研究和部署。

    Jun, 2024

  • OmniACT：实现桌面和网络的多模态通用自主代理的数据集和基准

    通过使用 OmniACT 数据集和基准测试，该研究介绍了评估代理程序生成可执行计算机任务的能力的一种新方法，并展示了当前最强的基线语言模型代理（GPT-4）在该基准测试中表现最好。然而，与人类能力相比，它仅达到 15％，这突显了传统网络代理在生成可完成任务的可执行脚本方面的挑战。该基准测试为衡量和评估语言模型代理在自动化计算机任务方面的进展提供了平台，并激励未来研究努力构建大型语言模型和计算机屏幕的视觉基础的多模态模型。

    Feb, 2024