本文介绍了一个基于多模式大语言模型的移动设备代理应用程序 Mobile-Agent，它可以通过视觉感知工具识别和定位应用程序前端界面中的视觉和文本元素，并根据感知到的视觉上下文自主规划和分解复杂操作任务，通过逐步操作导航移动应用程序。通过基于 Mobile-Eval 的综合评估，实验结果表明 Mobile-Agent 在移动设备操作方面表现出了显著的准确性和完成率。

Jan, 2024

该研究介绍了一种基于大型语言模型的多模态代理框架，旨在操作智能手机应用程序，通过简化的操作空间模拟人类的点击和滑动等交互，避免了系统后端访问的需求，并扩大了其适用性。代理的功能核心是其创新的学习方法，通过自主探索或观察人类示范学习并构建知识库以执行跨不同应用的复杂任务，通过在 10 个不同应用程序中进行 50 个任务的广泛测试，证明了代理在处理各种高级任务上的熟练程度。

Dec, 2023

利用大型语言模型中心的代理机构，通过个性化学习和在线高级用户指令执行，实现自动化移动设备操作，同时解决隐私问题和复杂任务执行挑战。

Jan, 2024

本文介绍了一种名为 Conversational Web Navigation 的新任务，通过使用名为 Multi-Turn Mind2Web (MT-Mind2Web) 的特殊数据集，提出了一种名为 self-reflective memory-augmented planning (Self-MAP) 的新框架，通过利用记忆利用和自我反思技术，在现实世界的场景中有效地与连续的用户指令进行复杂的交互。

Feb, 2024

该论文提出了一种利用大型语言模型的通信和协作的分散式多代理导航框架，通过设计通信触发的动态领导组织结构，实现更快的团队共识，减少通信次数，提高导航效果和协同探索效率，在多目标导航任务中无冲突且具有稳健性，即使团队规模激增。

Jun, 2024

设计了一个灵活的智能体工程框架，着重规划和执行，适用于多个领域的复杂应用，提供可靠性的工业应用，并提出了确保多个自主智能体共同解决任务的可扩展、灵活和协作式工作流技术。

Jun, 2024

提出一个用于多智能体视觉导航的大规模三维数据集 CollaVN，探索不同 MAVN 方法进行智能体的协作，用于弥补以往方法只关注格子世界或者游戏环境的不足，并采用记忆增强型通信框架提高多智能体合作效率和鲁棒性。

Jul, 2021

该研究论文提出了一种基于连续三维重建环境的机器人视觉和语言导航（Robo-VLN）的设定，并利用分层决策，模块化训练和分离推理和模仿的策略，成功地解决了 Robo-VLN 这一新任务。通过使用 HCM 代理，研究者展示了比现有基线效果更好的结果，为 Robo-VLN 创造了新的基准。

Apr, 2021

使用基于 GPT-4V 的 MM-Navigator 代理，通过先进的屏幕解析、动作推理和精确的动作定位能力，在智能手机图形用户界面（GUI）导航任务中实现了零射击导航，并在 iOS 和 Android 上展示了优异的性能。

Nov, 2023

利用大型语言模型和视觉语言模型，我们的研究致力于解决数字助理执行各种用户任务的挑战，特别是在基于指令的移动设备控制领域。通过与用户界面进行交互，我们的模型利用设备屏幕的视觉输入并模拟人类般的交互，包括点击和滑动等手势。这种输入和输出空间的广泛适用性使得我们的代理能够与设备上的任何应用程序进行交互。与以往方法不同的是，我们的模型不仅仅操作单个屏幕图像，还通过过去截图序列和相应操作生成视觉语言句子。在具有挑战性的 “Android in the Wild” 基准测试中评估我们的方法表明其有效性和潜力。

Apr, 2024