屏幕用户界面、信息图表、ScreenAI、视觉 - 语言模型和基于 UI 和信息图表的任务是该研究论文的关键词和概要。

Feb, 2024

本文运用基于深度学习的方法，能够仅基于像素预测移动 UI 截屏中被用户感知为可点击的元素，并运用 ML 可解释性技术解释模型输出结果，其中采用 XRAI 技术突出显示对所选区域的可点击性预测影响最强烈的截屏区域，采用 k - 最近邻方法表示数据集中对可点击性感知产生相反影响的最相似移动 UI。

Apr, 2022

提出了一种名为 UINav 的演示式代理系统，能够以简单手势为主的任务演示实现高成功率，并在保持较轻量级的同时可在移动设备上运行，通过采用裁判模型、宏操作和增加训练数据的方式，最小化任务演示次数，对于每个任务平均 10 次演示，UINav 能够达到 70% 以上的准确率，并在足够多演示的情况下实现 40 个以上不同任务的几乎完美成功率。

Dec, 2023

自主用户界面 (UI) 代理旨在通过与用户界面的自动交互来促进任务自动化。为了对齐于大型语言模型 (LLMs) 的输入 - 输出需求，现有方法在沙盒环境下开发，依赖外部工具和应用特定的 API 将环境解析为文本元素并解释预测的动作。为了减轻这些挑战，我们引入了 Auto-UI，这是一个多模态的解决方案，直接与界面交互，无需环境解析或依赖应用程序相关的 API。此外，我们提出了一种链式动作技术 —— 利用一系列中间的先前动作历史和未来动作计划 —— 以帮助代理决定执行什么动作。我们在一个新的设备控制基准 AITW 上评估了我们的方法，该基准包含 30K 个独特的指令，涵盖应用操作、网络搜索和网购等多步任务。实验结果显示，Auto-UI 实现了 90% 的动作类型预测准确率和 74% 的整体动作成功率。

Sep, 2023

本文介绍使用屏幕识别的方法来推断移动应用程序的辅助功能元数据，以改善移动应用程序的可访问性，从而使以前无法使用的应用程序能够被使用。

Jan, 2021

本文提出了一种仅基于移动 UI 的截图进行 UI 建模的方法，命名为 Spotlight，该方法的表现优于使用截图和视图层次结构的方法，并且具有多任务学习和少样本学习能力。

Sep, 2022

本论文提出了一种基于名为 UIClip 的视觉语言模型的 GUI 搜索引擎 GUing，其通过训练特定于应用 GUI 领域的大型数据集，在文本查询中实现了优于以前方法的文本到 GUI 的检索。

Apr, 2024

从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

Sep, 2023

这项研究介绍了一种基于图形的方法，用于软件测试自动化中的可视变化检测，通过机器学习模型准确识别软件截屏中的用户界面控件，并构建表示控件之间上下文和空间关系的图形，利用该模型可以检测和突出显示用户界面的视觉回归，该方法在各种简单和复杂测试场景中准确检测出软件的视觉变化，在更复杂的测试场景中明显优于像素级比较和基于区域的基准方法，这项工作不仅推动了可视变化检测的发展，还具有实际意义，提供了一个强大的解决方案，用于解决现实世界的软件测试自动化挑战，提高可靠性，确保软件界面的无缝演进。

May, 2024

通过基于深度强化学习的历史探索数据，Hawkeye 提出了一种有针对性地测试 App 更新的方法，能够优先执行与代码变更相关的 GUI 操作，相比 FastBot2 和 ARES 等测试工具，在开源 App 和大型商业 App 上更可靠地生成面向更改功能的 GUI 事件序列，并在开源 App 中表现出可比较的性能。

Sep, 2023