Jul, 2023

SketchMetaFace: 一种基于学习的草图界面，用于高保真 3D 角色面部建模

PDF
TL;DR本文介绍了 SketchMetaFace 系统，它为业余用户提供了一个快速建立逼真立体脸部的草图系统，使用了曲率感知笔画以及一种名为 “显式深度引导网格建模” 的新学习方法，通过数据驱动的笔画建议工具和分阶段标注接口设计增强了系统的可用性，并通过用户研究和实验分析验证其优越性。
3d avatarsfacial modelingsketch-based toolsimplicit and depth guided mesh modelinguser interface design
发现论文，激发创造
  • DeepSketch2Face：一种基于深度学习的 3D 人脸和卡通肖像建模草图系统

    本研究提出了一种基于深度学习的素描系统用于 3D 人脸和漫画建模，它具有省力且自由的手绘界面，并支持基于手势的用户交互。

    Jun, 2017

  • Deep3DSketch+: 从单个手绘草图快速进行三维建模

    AR/VR 发展迅速，对 3D 内容需求巨大。本研究提出一种基于手绘草图的 3D 建模方法，使用单个手绘草图生成高保真内容，无需多个视图或步骤。采用端到端方法，引入轻量级生成网络和结构感知对抗训练，并通过 Stroke Enhancement Module（SEM）捕捉结构信息，提升性能。实验证明该方法在合成和真实数据集上具有最先进的性能。

    Sep, 2023

  • FaceShop：基于深度素描的人脸图像编辑

    本文提出一种新颖的基于素描的面部图像编辑系统，它利用了用户的少量素描笔画，有几何和颜色约束，支持粘贴模式和实时交互，并建立在基于新颖的素描领域和卷积神经网络之上，从而将图像完成和图像翻译两个任务结合在一起，十分成功。

    Apr, 2018

  • 基于人类灵感的人脸草图合成与动态调整

    基于人类灵感的动态调整方法（HIDA）：通过联合考虑面部 3D 几何和 2D 外貌，以及全局一致的样式控制，基于变形卷积生成抽象和独特的轮廓，实现面部素描的高质量生成，并在多种风格中显著优于先前方法。

    Sep, 2023

  • DiffFaceSketch: 利用素描引导潜在扩散模型合成高保真人脸图像

    该论文介绍了 Sketch-Guided 潜在扩散模型（SGLDM），它是一种基于 LDM 的网络架构，在配对的素描 - 面部数据集上进行训练，可以合成出不同表情，面部配饰和发型的高质量人脸图片。 SGLDM 通过使用 Multi-Auto-Encoder 和 Stochastic Region Abstraction，能够有效地处理抽象度不同的草图输入，与现有的方法相比提高了鲁棒性。

    Feb, 2023

  • Sketch2Mesh: 从草图重建和编辑三维形状

    本文提出一种基于编码器 / 解码器架构利用用户界面提供的相机参数对手绘或合成草图进行转换，将草图转化成三维网格并进行图形重塑的方法，并表明该方法易于部署，对样式变化具有鲁棒性和高效性，且具备单笔画进行形状精细化的能力。和目前最先进的方法相比，我们表现更好。

    Apr, 2021

  • SketchBodyNet：基于草图驱动的多方面解码网络用于 3D 人体重建

    本研究提出了一种名为 SketchBodyNet 的基于手绘草图的多方面解码网络，用于从手绘草图中重建 3D 人体网格模型，实验证明该方法在从手绘草图中重建 3D 人体网格方面取得了优异的性能。

    Oct, 2023

  • 朝现实的生成三维人脸模型

    本文提出使用 2D 生成模型加上面部特征操作来创造 3D 可控制生成人脸模型的方法，可进行文本编辑、样式编辑和生成精确的 3D 形状和更高质量的色彩。

    Apr, 2023

  • 手绘 3D：从抽象自由手稿到精准 3D 形状

    本文介绍了一种民主化的三维内容创作方法，能够通过抽象的草图精确生成三维形状，同时克服与绘画技巧相关的限制。我们引入了一种新颖的部分水平建模和对齐框架，促进了抽象建模和跨模式对应关系。利用相同的部分水平解码器，我们的方法能够无缝地扩展到草图建模，通过建立 CLIPasso 边缘地图和投影的三维部分区域之间的对应关系，消除了人类草图和三维形状配对数据集的需求。此外，我们的方法通过交叉模式的部分对齐建模产生了一种无缝的位置调整过程。在低维隐含空间中运作，我们的方法显著降低了计算需求和处理时间。

    Dec, 2023

  • 快速概念设计探索与原型制作：基于生成人工智能的 Sketch2Prototype

    Sketch2Prototype 是一个基于人工智能的框架，通过手绘草图到文本、文本到图像、图像到 3D 的转换过程，快速生成文本、图像和 3D 模型，用于提升早期设计阶段的探索。研究表明，使用文本作为中间模态可以比直接将草图转换为 3D 模型的基准方法产生更加多样且可制造的 3D 模型。同时，发现了现有图像到 3D 技术的局限性，并强调了文本模态在用户反馈和迭代设计中的价值。

    Mar, 2024