May, 2019

Sketch2code: 从手稿模型生成网站

PDF
TL;DR本文提出了两种途径以自动化用户界面模板代码开发，一种是使用传统的计算机视觉技术，另一种则运用深度语义分割网络的新应用。通过我们设计的新评估框架的评估表明，我们的深度学习方法优于传统的计算机视觉方法，我们得出结论：深度学习是未来研究的最有前途的方向。
发现论文，激发创造
  • 使用深度学习与计算机视觉从草图生成完整的全栈网站和应用程序的骨架代码

    本篇论文探讨了使用深度学习和计算机视觉技术从手绘图像生成 Web 应用程序的骨架代码的新方法，以提高全栈网站开发的效率。

    Nov, 2022

  • 实时使用深度神经网络将草图转换为 UI

    使用深度神经网络从 UI 草图中检测 UI 元素并生成平台无关的 UI 表现形式，进而使用 UI 解析器创建多平台 UI 原型，从而加速 UI 原型开发（平均时间：129 毫秒）。

    Oct, 2019

  • pix2code：从图形用户界面截图生成代码

    本研究使用深度学习方法，基于单个输入图像，在三个不同平台（即 iOS、Android 和基于 web 的技术）中以超过 77% 的精度自动生成代码。

    May, 2017

  • DeepSketch2Face：一种基于深度学习的 3D 人脸和卡通肖像建模草图系统

    本研究提出了一种基于深度学习的素描系统用于 3D 人脸和漫画建模，它具有省力且自由的手绘界面，并支持基于手势的用户交互。

    Jun, 2017

  • 基于素描的照片分类器生成

    通过从用户的自由手绘草图中综合图像分类器，我们通过训练模型回归网络将自由手绘草图空间映射到照片分类器空间，从而实现了新类别的照片分类器的综合。同时，此方法还可以用作现有照片分类器粒度的增强方法，或作为基于名称零样本学习的补充。

    Apr, 2018

  • FaceShop：基于深度素描的人脸图像编辑

    本文提出一种新颖的基于素描的面部图像编辑系统，它利用了用户的少量素描笔画，有几何和颜色约束，支持粘贴模式和实时交互，并建立在基于新颖的素描领域和卷积神经网络之上，从而将图像完成和图像翻译两个任务结合在一起，十分成功。

    Apr, 2018

  • 快速概念设计探索与原型制作：基于生成人工智能的 Sketch2Prototype

    Sketch2Prototype 是一个基于人工智能的框架，通过手绘草图到文本、文本到图像、图像到 3D 的转换过程，快速生成文本、图像和 3D 模型，用于提升早期设计阶段的探索。研究表明，使用文本作为中间模态可以比直接将草图转换为 3D 模型的基准方法产生更加多样且可制造的 3D 模型。同时，发现了现有图像到 3D 技术的局限性，并强调了文本模态在用户反馈和迭代设计中的价值。

    Mar, 2024

  • DLPaper2Code: 深度学习研究论文代码自动生成

    提出了一种新颖的可扩展方法 DLPaper2Code，用于提取和理解研究论文中可用的深度学习设计流程图和表格，并将其转换为抽象的计算图，最终实时转换为 Keras 和 Caffe 的执行源代码，同时生成的设计可以通过直观的拖放 UI 框架进行评级和编辑。这种方法在模拟数据集上的实验表明，提取出的流程图内容的准确率高达 93％以上。

    Nov, 2017

  • Design2Code: 前端工程自动化的实现程度如何？

    通过综合评估，我们发现 GPT-4V 在将视觉设计转换为代码实现的任务中表现最佳，其生成的网页在视觉外观和内容方面可以替代原始参考网页的 49％，并且在 64％的情况下被认为比原始参考网页更好。

    Mar, 2024

  • 基于手绘和语义的模型生成方法的评估

    本文研究了设计模型生成的两种不同方式，分别是基于手绘草图生成设计模型和基于预定义设计元素生成界面的语义生成方式。结果表明，手绘生成更加直观易懂，而语义生成方式更加准确高保真度，两种方法都可以提高用户界面 (UI) 设计师的创造力和效率。

    Mar, 2023