Oct, 2023

Android 手机和平板电脑间的双向 GUI 数据集构建

PDF
TL;DR在当前普及的智能手机和平板电脑的背景下，应用程序经常存在于两种平台上。尽管应用程序在手机和平板电脑上共享大部分图形用户界面（GUI）和功能，但开发人员通常需要从头开始重建平板电脑版本，导致成本升高，并浪费现有的设计资源。研究人员正在尝试收集数据并使用深度学习在自动 GUI 开发中提高开发人员的生产力。目前，有一些公开可访问的 GUI 页面数据集用于手机，但没有关于手机和平板电脑之间的配对 GUI 的数据集。这对于在自动 GUI 开发中采用深度学习构成了重大障碍。在本文中，我们介绍了 Papt 数据集，一个专门为 Android 手机和平板电脑定制的先驱性配对 GUI 数据集，包括来自 5593 个唯一应用程序对的 10035 个手机 - 平板电脑 GUI 页面对。我们提出了新颖的配对 GUI 收集方法以构建此数据集，并详细说明了它相对于当前流行数据集的优势。通过对此数据集的初步实验，我们分析了在自动 GUI 开发中利用深度学习所面临的挑战。
发现论文，激发创造
  • 基于机器学习的移动应用图形用户界面原型设计

    本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

    Feb, 2018

  • GUI 奥德赛：一份针对移动设备的跨应用图形用户界面导航的综合数据集

    智能手机用户在不同应用程序之间导航，而自动图形用户界面（GUI）导航代理可以通过简化工作流程和减少手动干预来提高用户在沟通、娱乐和生产力方面的体验。本研究介绍了 GUI Odyssey，这是一个用于训练和评估跨应用程序导航代理的综合数据集。通过利用 GUI Odyssey，研究人员开发了 OdysseyAgent，一个多模式跨应用程序导航代理，其在准确性方面超越了现有模型。

    Jun, 2024

  • Android 在野外：用于 Android 设备控制的大规模数据集

    用于设备控制研究的数据集 Android in the Wild (AITW) 包含有关设备交互的人类演示、自然语言指令以及需求语义理解的多步骤任务，涵盖多个 Android 版本和设备类型，挑战用户界面操作推断和设备控制系统的鲁棒性分析。

    Jul, 2023

  • ASSISTGUI：面向任务的桌面图形用户界面自动化

    使用大型语言模型的图形用户界面（GUI）自动化在处理复杂任务方面有很大潜力。本论文介绍了一个新的基准测试框架 AssistGUI，评估模型是否能够响应用户请求的任务，在 Windows 平台上操纵鼠标和键盘。实验结果显示，我们的 GUI Parser 和 Reasoning 机制在性能上优于现有方法，但在基准测试中，最佳模型的成功率仅为 46％。通过对当前方法的限制进行彻底分析，为未来在该领域取得突破奠定基础。

    Dec, 2023

  • 移动界面实现更优语义理解

    通过对 RICO 数据集进行标注并使用多模态输入，该论文提出可提高移动设备的可访问性和自动化功能以便于使用的方法，使用户能够更好地了解 UI 元素的功能，并提出了一些创新性的功能，如通过标签引用 UI 元素，提高图标的语义等，以使 UI 对每个人都更加可用。

    Oct, 2022

  • 使用图像字幕生成技术进行自动化软件文档编写的实证研究

    本文对 GUI 与自然语言描述软件之间的联系进行了综合实证研究，收集、分析和开源了一个由人类标注者提供的大规模功能 GUI 描述数据集，并探究了四种神经图像字幕模型的表征潜力，以预测不同粒度的自然语言描述，并通过大规模用户研究定量和定性评估了这些模型，最后提出多模态模型的潜力以增强未来的自动化软件文档技术。

    Jan, 2023

  • 应用间检索和设计一致性检查的计算方法

    从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

    Sep, 2023

  • GUing: 使用视觉语言模型的移动 GUI 搜索引擎

    本论文提出了一种基于名为 UIClip 的视觉语言模型的 GUI 搜索引擎 GUing，其通过训练特定于应用 GUI 领域的大型数据集，在文本查询中实现了优于以前方法的文本到 GUI 的检索。

    Apr, 2024

  • ScreenQA：基于移动应用截图的大规模问答对

    本研究提出了一个新的任务和数据集 ScreenQA，旨在通过问答实现对屏幕内容的理解，并在 RICO 数据集上注释了 80,000 多个问题 - 答案对，以期评估屏幕阅读理解能力。

    Sep, 2022

  • 从用户界面轨迹识别用户目标

    介绍了从观察到的用户界面轨迹中抽取目标的任务，并提出了一种新的评估指标来评估特定用户界面环境下两个任务描述是否是释义关系。通过与用户界面自动化任务的逆关系，利用 Android-In-The-Wild 和 Mind2Web 数据集进行了实验，与人类和最先进的模型（GPT-4 和 Gemini-1.5 Pro）进行了比较，结果显示 Gemini 的表现优于 GPT 但仍不及人类，表明有很大的改进空间。

    Jun, 2024