Apr, 2024

VISION2UI：从 UI 设计生成代码的带有布局的真实世界数据集

PDF
TL;DR从实际场景中提取和清洗，包含设计愿景和 UI 代码的高质量数据集 VISION2UI 用于细调 Multimodal Large Language Models (MLLMs) 以实现自动化 UI 代码生成。
ui code generationwebpage design visionsmultimodal large language modelsdatasetvision2ui
发现论文，激发创造
  • 利用 WebSight 数据集解锁网页截图转换为 HTML 代码

    使用视觉 - 语言模型（VLMs）在 Web 开发中提供截屏或草图界面，能够自动生成相应的 HTML 代码，这项研究介绍了 WebSight 合成数据集和基于该数据集进行优化的 VLM，在将网页截屏转换为功能性 HTML 代码方面表现出良好的效果，并开源了 WebSight 以加速该领域的研究。

    Mar, 2024

  • ILuvUI：从机器对话中调整的语言 - 视觉用户界面建模

    使用生成配对文本 - 图像训练数据的方法，无需人工提供注释，适用于任何 UI 截图数据集，通过将现有的基于像素的方法与大型语言模型（LLM）相结合，对 UI 领域的 VLM 进行自动微调，以实现对 UI 任务的会话式 VLM 模型的性能评估、Q&A、UI 描述、规划以及多步 UI 导航和规划等方面的展示。

    Oct, 2023

  • Design2Code: 前端工程自动化的实现程度如何？

    通过综合评估，我们发现 GPT-4V 在将视觉设计转换为代码实现的任务中表现最佳，其生成的网页在视觉外观和内容方面可以替代原始参考网页的 49％，并且在 64％的情况下被认为比原始参考网页更好。

    Mar, 2024

  • 自自动生成界面代码：基于分而治之方法

    该论文提出了 DCGen，一种基于分而治之的方法，用于自动将网页设计转化为 UI 代码。在真实世界的网站数据集和各种多模态大语言模型的广泛测试中，DCGen 在视觉相似性方面的性能较竞争方法提高了 14%。据我们所知，DCGen 是第一种从屏幕截图直接生成 UI 代码的分段感知提示方法。

    Jun, 2024

  • 强化学习微调的视觉 - 编码转换器用于 UI 转码生成

    本文提出了一种新颖的视觉 - 代码转换器方法，并探索了 Actor-Critic 微调作为提高基线的一种方法，用于从屏幕截图生成高质量代码片段，其性能表现突出，在自动化度量方面表现强大。

    May, 2023

  • UICoder: 通过自动反馈对大型语言模型进行微调以生成用户界面代码

    通过使用自动生成的合成数据集和自动化工具，我们改进了现有的大型语言模型（LLMs），使其能够生成高质量的用户界面（UI）代码，并通过与其他基准模型的比较证明了我们的方法的有效性。

    Jun, 2024

  • Web2Code: 一个大规模的网页转代码数据集和多模态 LLMs 评估框架

    提出了一种用于网页理解和 HTML 代码翻译的基准测试以及多模态大型语言模型的能力评估框架，包括预训练语言模型增强现有数据集和生成新网页图像等内容，并通过广泛实验证明了该数据集的价值。

    Jun, 2024

  • 计算机用户界面理解：一个新的数据集和学习框架

    介绍了计算机用户界面 (UI) 理解的研究课题，包括创造一个视频数据集、合成样本生成管道和对图像进行对比学习的框架，实验证明该框架优于先前提出的层级多标签对比损失在细粒度用户界面分类中的表现。

    Mar, 2024

  • 实时使用深度神经网络将草图转换为 UI

    使用深度神经网络从 UI 草图中检测 UI 元素并生成平台无关的 UI 表现形式，进而使用 UI 解析器创建多平台 UI 原型，从而加速 UI 原型开发（平均时间：129 毫秒）。

    Oct, 2019

  • 关于人工智能启发的用户界面设计

    通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

    Jun, 2024