从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

Sep, 2023

通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

Jun, 2024

在移动应用程序的背景下，本文提出了所谓的大型用户界面模型（LUIMs），以通过人工智能生成用户界面并预测可用性。

May, 2024

在移动应用程序的深度学习分类与设计方面，我们提出了适合的 AIX 原则和点击列表，以及一个在线课程和支持这些原则的网络应用程序工具。

Jul, 2023

通过机器学习模型 UIClip，本研究开发了一种用于评估 UI 设计质量和视觉相关性的方法，通过截图和自然语言描述来对 UI 进行评估，实验证明 UIClip 在与其他基准方法和人工设计师评分进行对比时取得了最高一致性，从而为 UI 设计质量的直接评估提供了便利。

Apr, 2024

介绍了计算机用户界面 (UI) 理解的研究课题，包括创造一个视频数据集、合成样本生成管道和对图像进行对比学习的框架，实验证明该框架优于先前提出的层级多标签对比损失在细粒度用户界面分类中的表现。

Mar, 2024

我们提出了一种用于最新深度学习为基础的机器人程序优化器的解释用户界面（XUI），它提供了不同的用户体验以应对用户的不同技能水平，同时引入了可解释的人工智能（XAI）功能以促进深度学习方法在实际应用中的应用。为了评估 XUI 对任务性能、用户满意度和认知负荷的影响，我们提出了初步用户调查的结果，并提出了一个大规模后续研究的研究设计。

Apr, 2024

本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

Feb, 2018

通过 UI 序列预测的方式，我们提出了一种自动从设计原型中将碎片化元素进行端到端分组的新方法，通过创新性地构建 Transformer 编码器来改善 UI 理解，我们的方法在 4606 个专业 UI 设计师收集的 UI 原型数据集上优于现有基准，在 4 个编辑距离阈值下，精确度、召回率和 F1 分数分别提高了 29.75%、31.07% 和 30.39%，此外，我们进行了一项实证研究以评估生成的前端代码的改进，结果表明我们的方法在真实软件工程应用中具有显著的效果，我们的端到端碎片化元素分组方法为改进与 UI 相关的软件工程任务提供了机会。

Sep, 2023

本文运用基于深度学习的方法，能够仅基于像素预测移动 UI 截屏中被用户感知为可点击的元素，并运用 ML 可解释性技术解释模型输出结果，其中采用 XRAI 技术突出显示对所选区域的可点击性预测影响最强烈的截屏区域，采用 k - 最近邻方法表示数据集中对可点击性感知产生相反影响的最相似移动 UI。

Apr, 2022