本文提出了两种途径以自动化用户界面模板代码开发，一种是使用传统的计算机视觉技术，另一种则运用深度语义分割网络的新应用。通过我们设计的新评估框架的评估表明，我们的深度学习方法优于传统的计算机视觉方法，我们得出结论：深度学习是未来研究的最有前途的方向。

May, 2019

本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

Feb, 2018

本篇论文探讨了使用深度学习和计算机视觉技术从手绘图像生成 Web 应用程序的骨架代码的新方法，以提高全栈网站开发的效率。

Nov, 2022

本研究使用深度学习方法，基于单个输入图像，在三个不同平台（即 iOS、Android 和基于 web 的技术）中以超过 77% 的精度自动生成代码。

May, 2017

Sketch2Prototype 是一个基于人工智能的框架，通过手绘草图到文本、文本到图像、图像到 3D 的转换过程，快速生成文本、图像和 3D 模型，用于提升早期设计阶段的探索。研究表明，使用文本作为中间模态可以比直接将草图转换为 3D 模型的基准方法产生更加多样且可制造的 3D 模型。同时，发现了现有图像到 3D 技术的局限性，并强调了文本模态在用户反馈和迭代设计中的价值。

Mar, 2024

本文提出了一种利用 Stable Diffusion 生成移动 UI 界面的方法，从而通过文本描述和 UI 组件来提高 GUI 原型设计的效率和速度。

Jun, 2023

从实际场景中提取和清洗，包含设计愿景和 UI 代码的高质量数据集 VISION2UI 用于细调 Multimodal Large Language Models (MLLMs) 以实现自动化 UI 代码生成。

Apr, 2024

本文提出一种新颖的基于素描的面部图像编辑系统，它利用了用户的少量素描笔画，有几何和颜色约束，支持粘贴模式和实时交互，并建立在基于新颖的素描领域和卷积神经网络之上，从而将图像完成和图像翻译两个任务结合在一起，十分成功。

Apr, 2018

本研究提出了一种基于深度学习的素描系统用于 3D 人脸和漫画建模，它具有省力且自由的手绘界面，并支持基于手势的用户交互。

Jun, 2017

通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

Jun, 2024