本研究使用 Transformer 实现自然语言指令到移动用户界面动作的语义映射，并结合数据标注与合成技术，对其进行了完整的任务评估，并在 PIXELHELP 数据集上达到了 70.59% 的准确率。

May, 2020

该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

Mar, 2019

建立了一个多模态模型用于将自然语言指令与给定的 UI 屏幕截图联系起来，作为通用的 UI 任务自动执行器，并通过强化学习算法对其进行加强，实验结果表明，该模型在 UI 任务自动化方面表现优异，显示出作为通用 UI 任务自动化 API 的潜力。

Oct, 2023

该研究提出了一项新任务，即在 Web 环境中将语言与正确的网页元素匹配，并收集了超过 50,000 个命令的数据集，包括功能引用、关系推理和视觉推理，并实施和分析了三个基准模型。

Aug, 2018

利用预训练技能约束自然语言模型以便进行真实世界的物理执行，从而实现语言驱动机器人。

Apr, 2022

通过开发一个模拟的电子商务网站环境，使用强化学习、模仿学习和预训练图像和语言模型训练和评估多种代理人，以便理解指令、购买商品并在嘈杂的网页中执行动作，并分析代理人和人类的轨迹以提供以后的思路。

Jul, 2022

本研究通过提出一个包含建议的协议来增加物理基础语言理解任务的交互带宽，并在块世界任务上评估了该方法的有效性，发现简单的建议可以显著提高任务性能，同时也探讨了模型自动生成建议以减少提供建议的工作量。

May, 2019

为帮助新手学习如何自己使用智能手机，我们提出了一种基于自然语言的指导代理，然后使用大型语言模型解析自然语言说明并生成可以在设备上执行的宏。我们介绍了一个多语言、多模式的 UI 基础数据集 UGIF-DataSet，我们对不同的大型语言模型的性能进行比较，发现任务完成成功率为英语 UI 为 48%，非英语语言的性能下降到 32%。

Nov, 2022

通过将结构化说明转化为对话结构的形式，研究使用基于 Transformer 的架构模拟对话步骤，并通过用户研究证明了该方法对网页说明文本的改进

Sep, 2023

本论文提出了一种利用大型语言模型进行机器人交互的方法，用于解决理解语义知识和实现机器人任务之间的矛盾问题，其中引入了基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势，通过指导解码策略可以实现复杂的机器人长视程任务。

Mar, 2023