Apr, 2024

UIClip：一个基于数据的用户界面设计评估模型

PDF
TL;DR通过机器学习模型 UIClip，本研究开发了一种用于评估 UI 设计质量和视觉相关性的方法，通过截图和自然语言描述来对 UI 进行评估，实验证明 UIClip 在与其他基准方法和人工设计师评分进行对比时取得了最高一致性，从而为 UI 设计质量的直接评估提供了便利。
发现论文，激发创造
  • GUing: 使用视觉语言模型的移动 GUI 搜索引擎

    本论文提出了一种基于名为 UIClip 的视觉语言模型的 GUI 搜索引擎 GUing，其通过训练特定于应用 GUI 领域的大型数据集，在文本查询中实现了优于以前方法的文本到 GUI 的检索。

    Apr, 2024

  • 计算机用户界面理解：一个新的数据集和学习框架

    介绍了计算机用户界面 (UI) 理解的研究课题，包括创造一个视频数据集、合成样本生成管道和对图像进行对比学习的框架，实验证明该框架优于先前提出的层级多标签对比损失在细粒度用户界面分类中的表现。

    Mar, 2024

  • 探索 CLIP 用于评估图像外观和感觉

    本文介绍了如何利用 CLIP 模型中的丰富视觉语言先验，以零样本方式评估图像的质量感受和抽象感知，实验结果表明 CLIP 具有很好的泛化能力。

    Jul, 2022

  • 应用间检索和设计一致性检查的计算方法

    从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

    Sep, 2023

  • 关于人工智能启发的用户界面设计

    通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

    Jun, 2024

  • Lexi: UI 语言的自监督学习

    本研究探索如何利用 UI 说明书中的图像来学习 UI 屏幕及其组件的通用视觉 - 语言表示，并提出了一种名为 Lexi 的预训练模型，该模型可处理 UI 屏幕的独特特点，包括其丰富的文本和上下文敏感性。通过创建包含 114k UI 图像及其功能描述的 UICaption 数据集，我们证明了该模型可用于 UI 行动蕴含和 UI 实体识别等任务。

    Jan, 2023

  • VINS：移动用户界面设计的视觉搜索

    介绍了一种视觉搜索框架 VINS，它能够通过输入 UI 图像来检索类似的设计示例，并应用于移动用户界面的设计和体验研究。

    Feb, 2021

  • 使用图像字幕生成技术进行自动化软件文档编写的实证研究

    本文对 GUI 与自然语言描述软件之间的联系进行了综合实证研究，收集、分析和开源了一个由人类标注者提供的大规模功能 GUI 描述数据集，并探究了四种神经图像字幕模型的表征潜力，以预测不同粒度的自然语言描述，并通过大规模用户研究定量和定性评估了这些模型，最后提出多模态模型的潜力以增强未来的自动化软件文档技术。

    Jan, 2023

  • ScreenAI：面向用户界面和信息图的视觉语言模型

    屏幕用户界面、信息图表、ScreenAI、视觉 - 语言模型和基于 UI 和信息图表的任务是该研究论文的关键词和概要。

    Feb, 2024

  • 走向生态有效的语言用户界面研究

    使用近代深度学习方法构建 Data-driven 的语言用户界面（LUIs），作者讨论了生成的数据来源对于实际应用的有效性的影响，指出当前一些基准测试对真实应用存在差距，提出了提高 LUIs 机器学习研究的生态效度的建议。

    Jul, 2020