CVPRJun, 2021

魔术布局：用户界面设计组件检测的结构先验

PDF
TL;DR本文介绍了 Magic Layouts 方法，该方法可以解析用户界面（UI）布局的截图或手绘草图。它在现有探测器的基础上扩展了一个结构先验，以便能够对 UI 组件进行强大的检测，并且使用该先验的条件区域提案可提高 UI 布局的解析性能。通过一个交互式应用程序，我们演示了该方法对手绘 UI 和应用截图的解析性能的提高，并用于快速获取用户体验（UX）设计的数字原型。
ui layout parsingmagic layoutsprior learningmobile uidigital prototypes
发现论文，激发创造
  • UI 图层合并：通过视觉学习和边界先验合并 UI 图层

    本文提出了一个名为 UILM 的基于视觉的方法，它可以自动检测和合并碎片化的 UI 设计草稿中的碎片化层，以提高所生成代码的可访问性。实验证明，该方法在合并区域检测方面优于最佳基准线，并在图层合并方面实现了体面的精度。

    Jun, 2022

  • 学习去噪以提高规模化的原始移动 UI 布局数据集

    本文提出了一种采用深度学习方法进行 UI 布局去噪的 CLAY pipeline，并且在此基础上创建了 59,555 个人工注解的屏幕布局数据集，通过该数据集建立的深度学习模型可以达到较高的准确性，为数据驱动的移动 UI 研究提供了高质量的 UI 布局数据集。

    Jan, 2022

  • 应用间检索和设计一致性检查的计算方法

    从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

    Sep, 2023

  • 利用视觉建模和显著性分析预测和解释移动 UI 的可点击性

    本文运用基于深度学习的方法，能够仅基于像素预测移动 UI 截屏中被用户感知为可点击的元素，并运用 ML 可解释性技术解释模型输出结果，其中采用 XRAI 技术突出显示对所选区域的可点击性预测影响最强烈的截屏区域，采用 k - 最近邻方法表示数据集中对可点击性感知产生相反影响的最相似移动 UI。

    Apr, 2022

  • 基于机器学习的移动应用图形用户界面原型设计

    本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

    Feb, 2018

  • 移动界面理解：利用视觉 - 语言模型并聚焦

    本文提出了一种仅基于移动 UI 的截图进行 UI 建模的方法，命名为 Spotlight，该方法的表现优于使用截图和视图层次结构的方法，并且具有多任务学习和少样本学习能力。

    Sep, 2022

  • 屏幕识别：从像素创建移动应用的可访问性元数据

    本文介绍使用屏幕识别的方法来推断移动应用程序的辅助功能元数据，以改善移动应用程序的可访问性，从而使以前无法使用的应用程序能够被使用。

    Jan, 2021

  • 基于 UI 语法引导的 LLMs 的 UI 布局生成

    最近大型语言模型的进展激发了研究人员和行业专业人员的兴趣，特别是在与移动用户界面相关的任务中的应用。本研究探讨了使用大型语言模型进行用户界面布局生成的方法，并引入了 UI 语法的概念，以更有效地指导生成能力，并提高过程的可解释性和可控性。通过与 GPT-4 进行的初步实验表明，大型语言模型通过上下文学习具有产生高质量用户界面的有希望的能力。此外，我们的初步比较研究显示了基于语法的方法在改善特定方面的生成结果质量方面的潜力。

    Oct, 2023

  • Pix2Struct: 屏幕截图解析用于视觉语言理解的预训练

    Pix2Struct 是一种预先训练的图像到文本模型，能够解析丰富的文本，可用于多个领域任务，实现了最先进的结果。

    Oct, 2022

  • 实时使用深度神经网络将草图转换为 UI

    使用深度神经网络从 UI 草图中检测 UI 元素并生成平台无关的 UI 表现形式，进而使用 UI 解析器创建多平台 UI 原型，从而加速 UI 原型开发（平均时间：129 毫秒）。

    Oct, 2019