自主用户界面 (UI) 代理旨在通过与用户界面的自动交互来促进任务自动化。为了对齐于大型语言模型 (LLMs) 的输入 - 输出需求，现有方法在沙盒环境下开发，依赖外部工具和应用特定的 API 将环境解析为文本元素并解释预测的动作。为了减轻这些挑战，我们引入了 Auto-UI，这是一个多模态的解决方案，直接与界面交互，无需环境解析或依赖应用程序相关的 API。此外，我们提出了一种链式动作技术 —— 利用一系列中间的先前动作历史和未来动作计划 —— 以帮助代理决定执行什么动作。我们在一个新的设备控制基准 AITW 上评估了我们的方法，该基准包含 30K 个独特的指令，涵盖应用操作、网络搜索和网购等多步任务。实验结果显示，Auto-UI 实现了 90% 的动作类型预测准确率和 74% 的整体动作成功率。

Sep, 2023

通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

Jun, 2024

该研究介绍了我们的 UniTeam 代理 —— 一个改进的基线模型，用于处理在陌生环境中的导航问题、新物体的操作问题以及开放词汇的物体识别问题。通过评估基线代理的性能，并改善感知、导航和操作技能，实现了在感知方面的缺陷最小化、导航方面的无限循环问题解决、取物方面的因物体能见度变化导致的失败问题解决以及放置方面的准确定位以成功放置物体。

Dec, 2023

本研究开发了一个交互式真实仿真平台 “Help, Anna!”（HANNA），其中一个代理可通过请求和解释自然语言和视觉援助来完成物体寻找任务，解决 HANNA 问题，我们开发了一种记忆增强的神经代理和一种以模仿学习为基础的算法，通过有效地询问帮助，并同时预测自己未来的进展的机会，来比其他竞争基线更有效地避免重复错误，从而在以前看到和以前没看到的环境中获得更高的任务成功率。

Sep, 2019

UVLN (Universal Vision-Language Navigation) 是一种新颖的增强型机器翻译指令框架，利用大型语言模型（GPT3）和图像标题模型（BLIP）的新颖组合，将传统的指令跟随代理推广到多语言和低资源语言等复杂领域，将不同语言之间的对齐通过跨模态变压器，对语言指令、视觉观察和动作决策序列进行编码、捕获和传递。

May, 2023

建立了一个多模态模型用于将自然语言指令与给定的 UI 屏幕截图联系起来，作为通用的 UI 任务自动执行器，并通过强化学习算法对其进行加强，实验结果表明，该模型在 UI 任务自动化方面表现优异，显示出作为通用 UI 任务自动化 API 的潜力。

Oct, 2023

本研究介绍了一个针对信息用户界面交互（InfoUI）的新平台 Mobile-Env，基于该平台构建了一个任务集并通过一个基于大规模语言模型（LLM）的代理进行了实验，结果表明 LLM 在文本理解和匹配方面具有很大的潜力，同时揭示了需要更好的交互反馈和探索机制。

May, 2023

为帮助新手学习如何自己使用智能手机，我们提出了一种基于自然语言的指导代理，然后使用大型语言模型解析自然语言说明并生成可以在设备上执行的宏。我们介绍了一个多语言、多模式的 UI 基础数据集 UGIF-DataSet，我们对不同的大型语言模型的性能进行比较，发现任务完成成功率为英语 UI 为 48%，非英语语言的性能下降到 32%。

Nov, 2022

该论文提出一种目标驱动的网络导航模型作为评估具有自然语言理解和部分观察环境下规划能力的智能体的基准任务，并且将其应用于包括维基百科和 Jeopardy! 的数据集上进行广泛评估，展示了该任务在衡量未来进展方面的潜力。

Feb, 2016

本篇论文介绍了一种新的多模态、领域无关的方法，结合自然语言编程和演示编程，允许用户在高层次上自然描述任务和相关条件，并通过对话和演示递归地解决任何模糊不清的问题。PUMICE 是一个可供最终用户编程的代理系统，实现了这种方法。10 位用户的实验显示出系统的可用性。

Aug, 2019