Apr, 2024

Graph4GUI：用于表示图形用户界面的图神经网络

PDF
TL;DR现代的图形用户界面（GUI）展示着不同的文本、图形和交互元素的排列，但 GUI 的表达方式却没有跟上。为了更高效地利用机器学习在 GUI 中的潜力，Graph4GUI 利用图神经网络捕捉了各个元素的属性以及它们之间的语义 - 视觉 - 空间约束关系。通过多项任务的效果验证，学习到的表示尤其在具有挑战性的 GUI 自动补全任务中表现出了其有效性，该任务涉及在部分完成的 GUI 中预测剩余未放置元素的位置。与基准方法相比，新模型的建议显示出更好的对齐和视觉吸引力，并且在主观评分上获得了更高的偏好度。此外，我们还展示了设计师在使用我们的模型作为自动补全插件时所感知到的实际效益和效率优势。
发现论文，激发创造
  • 使用神经网络组合图模型以获取结构化表示和快速推断

    提出了一种将概率图模型和深度学习相结合的模型框架，通过将神经网络用于观测模型，提高了潜在变量的图形结构；针对推断，使用了可视化的自编码器，利用识别网络输出共轭潜力的图形模型近似分布；所有的这些模型组件都是同时学习的，从而得到了一种可扩展的算法，利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。

    Mar, 2016

  • 基于机器学习的移动应用图形用户界面原型设计

    本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

    Feb, 2018

  • 使用图像字幕生成技术进行自动化软件文档编写的实证研究

    本文对 GUI 与自然语言描述软件之间的联系进行了综合实证研究，收集、分析和开源了一个由人类标注者提供的大规模功能 GUI 描述数据集，并探究了四种神经图像字幕模型的表征潜力，以预测不同粒度的自然语言描述，并通过大规模用户研究定量和定性评估了这些模型，最后提出多模态模型的潜力以增强未来的自动化软件文档技术。

    Jan, 2023

  • GUILGET: 基于 Transformer 的 GUI 布局生成

    GUILGET is a method that uses transformers to automatically generate GUI layouts from graphical user interface arrangement graphs (GUI-AGs) while considering GUI design constraints, leading to a more efficient GUI design pipeline.

    Apr, 2023

  • 基于注意力层次解码器的自动生成图形程序

    该论文提出了一种基于注意力机制的分层代码生成模型，可更细致地描述图形用户界面 (GUI) 中的图片，并生成与 GUI 中图形元素的分层布局一致的代码，通过实验证明该模型优于当下其他最先进的方法。

    Oct, 2018

  • 神经图模型

    本研究介绍了神经图模型，该模型采用神经网络作为多任务学习框架，通过表示节点之间的依赖结构及其复杂的函数表示来捕获特征之间的完整的复杂依赖关系，并提供 NGMs 的有效学习、推理和采样算法。NGMs 可以适应包括有向、无向和混合边缘图在内的通用图结构，可以处理混合输入数据类型。经验研究表明，NGMs 能够代表高斯图模型，并从由 CDC 提供的真实世界婴儿死亡数据中提取见解。

    Oct, 2022

  • ASSISTGUI：面向任务的桌面图形用户界面自动化

    使用大型语言模型的图形用户界面（GUI）自动化在处理复杂任务方面有很大潜力。本论文介绍了一个新的基准测试框架 AssistGUI，评估模型是否能够响应用户请求的任务，在 Windows 平台上操纵鼠标和键盘。实验结果显示，我们的 GUI Parser 和 Reasoning 机制在性能上优于现有方法，但在基准测试中，最佳模型的成功率仅为 46％。通过对当前方法的限制进行彻底分析，为未来在该领域取得突破奠定基础。

    Dec, 2023

  • 图形用户界面目标检测：传统方法、深度学习或二者结合？

    本研究使用大型实证研究方法，比较七种 GUI 元素检测方法的性能和设计效果，设计一种新的基于旧有方法和深度学习模型的 GUI 元素检测方法，并在 25,000 张 GUI 图像上测试，结果表明我们的方法有着显著的改进。

    Aug, 2020

  • Screen2Vec: GUI 界面与组件的语义嵌入

    本文提出了 Screen2Vec 算法，该算法结合了 GUI 语义表示、嵌入向量和自监督的技术，在不需要手动注释的前提下，能够表示 GUI 屏幕和组件的所有特征，包括文字内容、视觉设计和布局模式、应用上下文，能够用于建模用户 - GUI 交互和挖掘 GUI 设计信息。

    Jan, 2021

  • 医学中的图形人工智能

    临床人工智能中的图表示学习，特别是通过图神经网络 (GNN)，以其捕捉结构化临床数据中复杂关系的能力而脱颖而出。图人工智能通过将模态作为通过它们的关系相互连接的节点整体地处理数据，从而促进了模型在临床任务之间的转移，使模型能够在没有额外参数或最小重新训练的情况下推广到患者群体。然而，人类中心设计和模型解释能力在临床决策中的重要性不容忽视。由于图人工智能模型通过定义在图关系上的局部神经变换捕捉信息，它们在阐明模型的合理性方面既带来机遇又带来挑战。知识图谱可以通过将模型驱动的见解与医学知识相结合来增强解释性。新兴的图模型通过预训练整合多种数据模态，促进互动反馈循环，促进人工智能和人类的合作，为临床意义的预测铺平了道路。

    Oct, 2023