Aug, 2022

基于图神经网络的分块 UI 层检测器 ULDGNN

PDF
TL;DR本研究提出了一种自动合并 Sketch 中的分散图层的方法，通过构建 UI 设计草图中图层树的图形表示，基于视觉特征和图神经网络能够检测所有的分散图层，并通过基于规则的算法自动合并它们，能够在代码生成过程中提升代码质量和减少用户的工作量。
发现论文，激发创造
  • UI 图层合并：通过视觉学习和边界先验合并 UI 图层

    本文提出了一个名为 UILM 的基于视觉的方法，它可以自动检测和合并碎片化的 UI 设计草稿中的碎片化层，以提高所生成代码的可访问性。实验证明，该方法在合并区域检测方面优于最佳基准线，并在图层合并方面实现了体面的精度。

    Jun, 2022

  • 自自动生成界面代码：基于分而治之方法

    该论文提出了 DCGen，一种基于分而治之的方法，用于自动将网页设计转化为 UI 代码。在真实世界的网站数据集和各种多模态大语言模型的广泛测试中，DCGen 在视觉相似性方面的性能较竞争方法提高了 14%。据我们所知，DCGen 是第一种从屏幕截图直接生成 UI 代码的分段感知提示方法。

    Jun, 2024

  • EGFE: 在 UI 设计中使用多模态学习进行碎片元素的端到端分组

    通过 UI 序列预测的方式，我们提出了一种自动从设计原型中将碎片化元素进行端到端分组的新方法，通过创新性地构建 Transformer 编码器来改善 UI 理解，我们的方法在 4606 个专业 UI 设计师收集的 UI 原型数据集上优于现有基准，在 4 个编辑距离阈值下，精确度、召回率和 F1 分数分别提高了 29.75%、31.07% 和 30.39%，此外，我们进行了一项实证研究以评估生成的前端代码的改进，结果表明我们的方法在真实软件工程应用中具有显著的效果，我们的端到端碎片化元素分组方法为改进与 UI 相关的软件工程任务提供了机会。

    Sep, 2023

  • 实时使用深度神经网络将草图转换为 UI

    使用深度神经网络从 UI 草图中检测 UI 元素并生成平台无关的 UI 表现形式，进而使用 UI 解析器创建多平台 UI 原型，从而加速 UI 原型开发（平均时间：129 毫秒）。

    Oct, 2019

  • 基于机器学习的移动应用图形用户界面原型设计

    本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

    Feb, 2018

  • 时装地标检测的布局图推理

    本文提出了一种基于多层次的布局图推理层的方法，通过在中间表示中 na 无缝执行结构布局关系来检测多样化服装的密集关键点。实验结果表明，该模型具有优越性能，并贡献出了第一个细粒度的时尚标志物数据集以支持更全面的衣服生成和属性识别。

    Oct, 2019

  • 关于人工智能启发的用户界面设计

    通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

    Jun, 2024

  • 大型多模式模型的图形设计

    在图形设计领域，自动化地将设计元素整合为一个连贯的多层艺术作品不仅提高了工作效率，还为图形设计的大众化铺平了道路。本文介绍了一种称为 Hierarchical Layout Generation (HLG) 的更灵活和实用的设置，它从无序的设计元素集合中创建图形构图。通过基于大型多模态模型的图形生成模型 Graphist，我们有效地将 HLG 作为一个序列生成问题来解决，并利用 RGB-A 图像作为输入，输出一个 JSON 草稿协议，指示每个元素的坐标、大小和顺序。我们开发了新的 HLG 评估指标，Graphist 在性能上超过了以往的技术，为该领域奠定了坚实的基础。项目主页：[此处为项目主页的链接]

    Apr, 2024

  • 基于 UI 语法引导的 LLMs 的 UI 布局生成

    最近大型语言模型的进展激发了研究人员和行业专业人员的兴趣，特别是在与移动用户界面相关的任务中的应用。本研究探讨了使用大型语言模型进行用户界面布局生成的方法，并引入了 UI 语法的概念，以更有效地指导生成能力，并提高过程的可解释性和可控性。通过与 GPT-4 进行的初步实验表明，大型语言模型通过上下文学习具有产生高质量用户界面的有希望的能力。此外，我们的初步比较研究显示了基于语法的方法在改善特定方面的生成结果质量方面的潜力。

    Oct, 2023

  • Graph4GUI：用于表示图形用户界面的图神经网络

    现代的图形用户界面（GUI）展示着不同的文本、图形和交互元素的排列，但 GUI 的表达方式却没有跟上。为了更高效地利用机器学习在 GUI 中的潜力，Graph4GUI 利用图神经网络捕捉了各个元素的属性以及它们之间的语义 - 视觉 - 空间约束关系。通过多项任务的效果验证，学习到的表示尤其在具有挑战性的 GUI 自动补全任务中表现出了其有效性，该任务涉及在部分完成的 GUI 中预测剩余未放置元素的位置。与基准方法相比，新模型的建议显示出更好的对齐和视觉吸引力，并且在主观评分上获得了更高的偏好度。此外，我们还展示了设计师在使用我们的模型作为自动补全插件时所感知到的实际效益和效率优势。

    Apr, 2024