Mar, 2024

快速概念设计探索与原型制作：基于生成人工智能的 Sketch2Prototype

PDF
TL;DRSketch2Prototype 是一个基于人工智能的框架，通过手绘草图到文本、文本到图像、图像到 3D 的转换过程，快速生成文本、图像和 3D 模型，用于提升早期设计阶段的探索。研究表明，使用文本作为中间模态可以比直接将草图转换为 3D 模型的基准方法产生更加多样且可制造的 3D 模型。同时，发现了现有图像到 3D 技术的局限性，并强调了文本模态在用户反馈和迭代设计中的价值。
sketch2prototypeai-based frameworksketch-to-3dearly-stage design explorationtext modality
发现论文，激发创造
  • 草图到建筑：生成式人工智能辅助的建筑设计

    使用生成式 AI，通过简单的草图生成概念平面图和 3D 模型，实现了快速构思和基于文本描述的控制生成建筑渲染图，展示了生成式 AI 在建筑设计过程中的潜力，为计算机辅助建筑设计指明了新方向。

    Mar, 2024

  • SketchDreamer：互动的文本增强创意草图构思

    通过与文本交互的过程，本文提出了一种名为 SketchDreamer 的方法，利用基于像素表示的图像的文本条件扩散模型训练来生成受控素描，并使文本和素描能够相互作用，以实现非专业用户创作素描，并将叙述扩展为故事板。

    Aug, 2023

  • 3D VR 草图引导的 3D 形状原型制作和探索

    该研究旨在探索利用虚拟现实草图作为 3D 模型生成网络的条件模态之一，通过使用多模态 3D 形状表示和实现物理合理性的方法，在模型训练过程中采用特定的损失函数以生成遵循输入草图结构的多个 3D 模型的问题。

    Jun, 2023

  • Deep3DSketch+: 从单个手绘草图快速进行三维建模

    AR/VR 发展迅速，对 3D 内容需求巨大。本研究提出一种基于手绘草图的 3D 建模方法，使用单个手绘草图生成高保真内容，无需多个视图或步骤。采用端到端方法，引入轻量级生成网络和结构感知对抗训练，并通过 Stroke Enhancement Module（SEM）捕捉结构信息，提升性能。实验证明该方法在合成和真实数据集上具有最先进的性能。

    Sep, 2023

  • 实时使用深度神经网络将草图转换为 UI

    使用深度神经网络从 UI 草图中检测 UI 元素并生成平台无关的 UI 表现形式，进而使用 UI 解析器创建多平台 UI 原型，从而加速 UI 原型开发（平均时间：129 毫秒）。

    Oct, 2019

  • CustomSketching：基于草图概念提取的草图图像合成和编辑

    使用个性化技术的大型文本到图像（T2I）模型允许用户从参考图像中融入新概念。本文旨在通过探索一种新颖的任务，即草图概念提取，通过两阶段框架 CustomSketching 实现草图概念的提取，以实现基于草图的图像合成和编辑。

    Feb, 2024

  • Sketch2NeRF: 多视图草图引导的文本生成三维模型

    通过多视角草图引导的文本到 3D 生成框架，使用预训练的 2D 扩散模型对神经辐射场进行优化，以实现从草图到生成 3D 场景的灵活控制。

    Jan, 2024

  • Sketch2code: 从手稿模型生成网站

    本文提出了两种途径以自动化用户界面模板代码开发，一种是使用传统的计算机视觉技术，另一种则运用深度语义分割网络的新应用。通过我们设计的新评估框架的评估表明，我们的深度学习方法优于传统的计算机视觉方法，我们得出结论：深度学习是未来研究的最有前途的方向。

    May, 2019

  • Sketch2CAD：上下文中的草图顺序 CAD 建模

    本文提出了一种基于草图的 CAD 建模系统，通过深度神经网络对 CAD 操作进行识别，以解决解析二维草图模糊不清的问题，并使用合成的 CAD 操作序列进行训练。实验表明，该系统可以快速创建各种不同的对象，是一种与现有 CAD 建模系统交互的替代方式。

    Sep, 2020

  • 零样本草图生成 3D 形状

    This paper explores the use of pre-trained models and synthetic renderings to generate 3D shapes from sketches without the need for paired datasets, demonstrating the effectiveness of the approach for generating multiple 3D shapes per input sketch regardless of their level of abstraction.

    Jul, 2023