Dec, 2023

AppAgent: 多模态代理与智能手机用户

HTML
PDF
TL;DR该研究介绍了一种基于大型语言模型的多模态代理框架，旨在操作智能手机应用程序，通过简化的操作空间模拟人类的点击和滑动等交互，避免了系统后端访问的需求，并扩大了其适用性。代理的功能核心是其创新的学习方法，通过自主探索或观察人类示范学习并构建知识库以执行跨不同应用的复杂任务，通过在10个不同应用程序中进行50个任务的广泛测试，证明了代理在处理各种高级任务上的熟练程度。
发现论文，激发创造
  • 利用大型语言模型实现移动界面的交互式对话功能

    本文旨在通过预训练大型语言模型及相应的提示技术，实现轻量级、可通用的基于自然语言的手机交互，解决开发人员需要针对每项具体任务创建独立数据集和模型的成本和劳动力问题。研究表明，针对移动UI设计的四项重要建模任务中，我们的方法在不需要专用数据集和训练的情况下，取得了令人满意的竞争成绩。

    Sep, 2022

  • 移动Agent：具有视觉感知的自主多模移动设备Agent

    本文介绍了一个基于多模式大语言模型的移动设备代理应用程序Mobile-Agent，它可以通过视觉感知工具识别和定位应用程序前端界面中的视觉和文本元素，并根据感知到的视觉上下文自主规划和分解复杂操作任务，通过逐步操作导航移动应用程序。通过基于Mobile-Eval的综合评估，实验结果表明Mobile-Agent在移动设备操作方面表现出了显著的准确性和完成率。

    Jan, 2024

  • 大型多模态代理：综述

    大型语言模型在多媒体领域的研究和发展方向的全面回顾，介绍了大型多媒体代理的开发要素和分类，评估方法的编制以及未来研究方向的提出。

    Feb, 2024

  • LlamaTouch: 一个忠实且可扩展的移动界面自动化测试床任务评估

    LlamaTouch是一种用于在设备上执行代理程序和可信、可扩展代理评估的测试平台，它通过观察任务执行过程只传输UI状态，采用了新颖的评估方法来评估代理程序是否遍历了所有手动注释的应用程序/系统状态。

    Apr, 2024

  • MobileAgentBench: 移动 LLM 代理的高效且用户友好的基准测试

    通过提出MobileAgentBench这一高效且用户友好的基准测试工具，对现有移动代理进行全面和系统性的性能比较，以解决应用程序状态无穷和可行操作序列定义模糊的挑战。

    Jun, 2024

  • 将每个应用程序转变为代理：朝着高效的人机交互迈进，基于API优先的LLM代理

    本研究针对当前多模态大语言模型（MLLM）在复杂任务中响应速度慢和可靠性低的问题，提出了AXIS框架，优先通过应用程序接口（API）而非用户界面（UI）进行交互。实验表明，AXIS能将任务完成时间减少65%-70%，并降低认知负荷38%-53%，同时保持97%-98%的准确率，推动了新的人机计算交互框架及应用提供者的UI设计原则。

    Sep, 2024

  • MobA：用于高效移动任务自动化的双级代理系统

    本研究解决了现有移动助手依赖系统API以及在复杂用户指令和多样接口下的理解和决策能力不足的问题。提出的MobA系统采用多模态大语言模型，通过双级代理架构提升了理解和规划能力。研究发现，MobA显著提高了任务执行效率和完成率，展示了其在处理复杂任务方面的潜力。

    Oct, 2024

  • SPA-Bench：智能手机代理评估的综合基准

    本研究针对智能手机代理的比较和评估面临的挑战，提出了SPA-Bench综合基准。通过提供多样化的任务、即插即用框架与新颖的评估流程，本文可以有效评估基于(M)LLM的代理的性能，揭示了在实际应用中存在的关键问题和未来研究方向。

    Oct, 2024

  • 可解释的行为克隆：通过示范学习教导大型语言模型代理

    本研究解决了智能代理在复杂移动应用中有效交互的挑战。提出的可解释行为克隆大型语言模型代理（EBC-LLMAgent）结合了大型语言模型与示范学习，创造了一种智能且可解释的代理方法。实验结果表明，EBC-LLMAgent在任务完成率、未见场景的高效泛化以及生成有意义解释方面表现优越。

    Oct, 2024

  • 多模态移动代理的基础与近期趋势：一项综述

    本研究解决了移动代理在复杂动态环境下自动化任务的重要性与实时适应性的需求缺口。通过对移动代理技术的最新进展进行全面评估，本论文提出了基于提示的方法和训练方法两种主要策略，提高了多模态交互和适应能力。研究的关键发现为提升移动代理技术提供了重要的见解，并指明了未来研究的方向。

    Nov, 2024