Feb, 2018

基于机器学习的移动应用图形用户界面原型设计

PDF
TL;DR本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。
发现论文，激发创造
  • 实时使用深度神经网络将草图转换为 UI

    使用深度神经网络从 UI 草图中检测 UI 元素并生成平台无关的 UI 表现形式，进而使用 UI 解析器创建多平台 UI 原型，从而加速 UI 原型开发（平均时间：129 毫秒）。

    Oct, 2019

  • 扩展 GUI 原型设计的扩散模型

    本文提出了一种利用 Stable Diffusion 生成移动 UI 界面的方法，从而通过文本描述和 UI 组件来提高 GUI 原型设计的效率和速度。

    Jun, 2023

  • Graph4GUI：用于表示图形用户界面的图神经网络

    现代的图形用户界面（GUI）展示着不同的文本、图形和交互元素的排列，但 GUI 的表达方式却没有跟上。为了更高效地利用机器学习在 GUI 中的潜力，Graph4GUI 利用图神经网络捕捉了各个元素的属性以及它们之间的语义 - 视觉 - 空间约束关系。通过多项任务的效果验证，学习到的表示尤其在具有挑战性的 GUI 自动补全任务中表现出了其有效性，该任务涉及在部分完成的 GUI 中预测剩余未放置元素的位置。与基准方法相比，新模型的建议显示出更好的对齐和视觉吸引力，并且在主观评分上获得了更高的偏好度。此外，我们还展示了设计师在使用我们的模型作为自动补全插件时所感知到的实际效益和效率优势。

    Apr, 2024

  • ASSISTGUI：面向任务的桌面图形用户界面自动化

    使用大型语言模型的图形用户界面（GUI）自动化在处理复杂任务方面有很大潜力。本论文介绍了一个新的基准测试框架 AssistGUI，评估模型是否能够响应用户请求的任务，在 Windows 平台上操纵鼠标和键盘。实验结果显示，我们的 GUI Parser 和 Reasoning 机制在性能上优于现有方法，但在基准测试中，最佳模型的成功率仅为 46％。通过对当前方法的限制进行彻底分析，为未来在该领域取得突破奠定基础。

    Dec, 2023

  • 图形用户界面目标检测：传统方法、深度学习或二者结合？

    本研究使用大型实证研究方法，比较七种 GUI 元素检测方法的性能和设计效果，设计一种新的基于旧有方法和深度学习模型的 GUI 元素检测方法，并在 25,000 张 GUI 图像上测试，结果表明我们的方法有着显著的改进。

    Aug, 2020

  • 使用图像字幕生成技术进行自动化软件文档编写的实证研究

    本文对 GUI 与自然语言描述软件之间的联系进行了综合实证研究，收集、分析和开源了一个由人类标注者提供的大规模功能 GUI 描述数据集，并探究了四种神经图像字幕模型的表征潜力，以预测不同粒度的自然语言描述，并通过大规模用户研究定量和定性评估了这些模型，最后提出多模态模型的潜力以增强未来的自动化软件文档技术。

    Jan, 2023

  • 应用间检索和设计一致性检查的计算方法

    从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

    Sep, 2023

  • Android 手机和平板电脑间的双向 GUI 数据集构建

    在当前普及的智能手机和平板电脑的背景下，应用程序经常存在于两种平台上。尽管应用程序在手机和平板电脑上共享大部分图形用户界面（GUI）和功能，但开发人员通常需要从头开始重建平板电脑版本，导致成本升高，并浪费现有的设计资源。研究人员正在尝试收集数据并使用深度学习在自动 GUI 开发中提高开发人员的生产力。目前，有一些公开可访问的 GUI 页面数据集用于手机，但没有关于手机和平板电脑之间的配对 GUI 的数据集。这对于在自动 GUI 开发中采用深度学习构成了重大障碍。在本文中，我们介绍了 Papt 数据集，一个专门为 Android 手机和平板电脑定制的先驱性配对 GUI 数据集，包括来自 5593 个唯一应用程序对的 10035 个手机 - 平板电脑 GUI 页面对。我们提出了新颖的配对 GUI 收集方法以构建此数据集，并详细说明了它相对于当前流行数据集的优势。通过对此数据集的初步实验，我们分析了在自动 GUI 开发中利用深度学习所面临的挑战。

    Oct, 2023

  • GUing: 使用视觉语言模型的移动 GUI 搜索引擎

    本论文提出了一种基于名为 UIClip 的视觉语言模型的 GUI 搜索引擎 GUing，其通过训练特定于应用 GUI 领域的大型数据集，在文本查询中实现了优于以前方法的文本到 GUI 的检索。

    Apr, 2024

  • 基于注意力层次解码器的自动生成图形程序

    该论文提出了一种基于注意力机制的分层代码生成模型，可更细致地描述图形用户界面 (GUI) 中的图片，并生成与 GUI 中图形元素的分层布局一致的代码，通过实验证明该模型优于当下其他最先进的方法。

    Oct, 2018