Sep, 2023

EGFE: 在 UI 设计中使用多模态学习进行碎片元素的端到端分组

PDF
TL;DR通过 UI 序列预测的方式，我们提出了一种自动从设计原型中将碎片化元素进行端到端分组的新方法，通过创新性地构建 Transformer 编码器来改善 UI 理解，我们的方法在 4606 个专业 UI 设计师收集的 UI 原型数据集上优于现有基准，在 4 个编辑距离阈值下，精确度、召回率和 F1 分数分别提高了 29.75%、31.07% 和 30.39%，此外，我们进行了一项实证研究以评估生成的前端代码的改进，结果表明我们的方法在真实软件工程应用中具有显著的效果，我们的端到端碎片化元素分组方法为改进与 UI 相关的软件工程任务提供了机会。
ui design prototypesautomatically generating codegrouping fragmented elementstransformer encoderui-related software engineering tasks
发现论文，激发创造
  • 基于图神经网络的分块 UI 层检测器 ULDGNN

    本研究提出了一种自动合并 Sketch 中的分散图层的方法，通过构建 UI 设计草图中图层树的图形表示，基于视觉特征和图神经网络能够检测所有的分散图层，并通过基于规则的算法自动合并它们，能够在代码生成过程中提升代码质量和减少用户的工作量。

    Aug, 2022

  • MM-GEF：多模态表示与协同过滤相遇

    现代电子商务中，多种内容形式的物品特征为推荐系统提供了精确而全面的信息。本研究提出了一种基于图形的物品结构增强方法 MM-GEF：多模态图形早期融合推荐，通过将多模态特征的潜在物品结构与协作信号相结合，有效地改善了物品表示。在四个公开数据集上进行的大量实验证明了我们方法在多模态推荐技术方面的系统改进。

    Aug, 2023

  • 基于集体学习的移动应用用户界面模块智能探索

    FEELER 使用机器学习快速智能地探索用户界面模块的设计解决方案，量化地测量不同设计解决方案的偏好得分，以方便设计师快速调整用户界面模块。

    Jul, 2020

  • 自自动生成界面代码：基于分而治之方法

    该论文提出了 DCGen，一种基于分而治之的方法，用于自动将网页设计转化为 UI 代码。在真实世界的网站数据集和各种多模态大语言模型的广泛测试中，DCGen 在视觉相似性方面的性能较竞争方法提高了 14%。据我们所知，DCGen 是第一种从屏幕截图直接生成 UI 代码的分段感知提示方法。

    Jun, 2024

  • GUILGET: 基于 Transformer 的 GUI 布局生成

    GUILGET is a method that uses transformers to automatically generate GUI layouts from graphical user interface arrangement graphs (GUI-AGs) while considering GUI design constraints, leading to a more efficient GUI design pipeline.

    Apr, 2023

  • 基于机器学习的移动应用图形用户界面原型设计

    本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

    Feb, 2018

  • EGE-UNet: 一种高效增强组 UNet，用于皮肤病变分割

    本文提出了更高效的方法 - EGE-UNet, 通过采用 GHPA 和 GAB 模块，在轻量级的框架中完成病理信息的多角度提取和多尺度信息的有效融合，在 ISIC2017 和 ISIC2018 数据集上超越了现有的最优方法，并且相对于 TransFuse 将参数和计算成本降低了 494 倍和 160 倍，其参数数量仅限于 50KB。

    Jul, 2023

  • 通用信息提取的统一结构生成

    本文提出了一种名为 UIE 的统一文本到结构生成框架，可通用地模拟不同的信息提取任务，通过基于模式的指示器机制自适应生成目标结构，并通过大规模的预训练文本到结构模型捕捉共同的信息提取能力。实验结果显示，UIE 在四个 IE 任务、13 个数据集和不同的实验条件下实现了最先进的性能，验证了其有效性、通用性和可迁移性。

    Mar, 2022

  • UI 图层合并：通过视觉学习和边界先验合并 UI 图层

    本文提出了一个名为 UILM 的基于视觉的方法，它可以自动检测和合并碎片化的 UI 设计草稿中的碎片化层，以提高所生成代码的可访问性。实验证明，该方法在合并区域检测方面优于最佳基准线，并在图层合并方面实现了体面的精度。

    Jun, 2022

  • Ferret-UI: 基于多模态 LLMS 的移动 UI 理解

    Ferret-UI 是一种专门用于增强对移动用户界面（UI）屏幕理解的多模态大型语言模型（MLLM），它具备指代、基础和推理能力，并在学习样本、编码和任务执行方面表现出色。

    Apr, 2024