3Doodle:使用 3D 笔画对对象进行简化
本文介绍了一种民主化的三维内容创作方法,能够通过抽象的草图精确生成三维形状,同时克服与绘画技巧相关的限制。我们引入了一种新颖的部分水平建模和对齐框架,促进了抽象建模和跨模式对应关系。利用相同的部分水平解码器,我们的方法能够无缝地扩展到草图建模,通过建立 CLIPasso 边缘地图和投影的三维部分区域之间的对应关系,消除了人类草图和三维形状配对数据集的需求。此外,我们的方法通过交叉模式的部分对齐建模产生了一种无缝的位置调整过程。在低维隐含空间中运作,我们的方法显著降低了计算需求和处理时间。
Dec, 2023
借助 Diff3DS 框架,通过在 2D 图像域中计算的梯度,实现了 3D 草图的端到端优化。该框架可以用于文本到 3D 草图和图像到 3D 草图的生成任务,支持基于蒸馏的监督学习,如 Score Distillation Sampling (SDS)。大量实验证明了该框架的潜力和有望的结果。
May, 2024
AR/VR 发展迅速,对 3D 内容需求巨大。本研究提出一种基于手绘草图的 3D 建模方法,使用单个手绘草图生成高保真内容,无需多个视图或步骤。采用端到端方法,引入轻量级生成网络和结构感知对抗训练,并通过 Stroke Enhancement Module(SEM)捕捉结构信息,提升性能。实验证明该方法在合成和真实数据集上具有最先进的性能。
Sep, 2023
研究了从手绘草图重建立体物体的挑战,提出了数据生成和标准化机制,并对各种风格的手绘草图进行了广泛实验,进一步增强了草图在交互设计和 VR/AR 游戏等 3D 相关应用中的能力。
Jun, 2020
本论文介绍了一种从三维形状中生成艺术风格化线条图案的模型,其输入为三维形状及视角,输出为带有纹理笔触的绘画,包括笔画粗细、变形和颜色,可以从艺术家的风格中学习。该模型是全可微分的,并训练其参数来自三维形状的单个训练图形。相对于之前基于图像的方法,使用 3D 形状和 2D 笔画的几何表达方式允许模型传输形状和纹理风格的重要方面,同时保留轮廓。我们的方法以向量表示形成的绘画,可用于交互式应用中的更丰富后续分析或编辑。
Oct, 2021
我们提出了一种数据驱动方法,利用卷积神经网络 (CNN) 从一个或多个涂鸦中学习重建 3D 形状,为用户提供最初的 3D 重建并可以通过应用更新器 CNN 来迭代更新和融合多视角信息,从而实现自由的位图创作和多视角草图建模之间的连续转换。
Jul, 2017
该研究旨在探索利用虚拟现实草图作为 3D 模型生成网络的条件模态之一,通过使用多模态 3D 形状表示和实现物理合理性的方法,在模型训练过程中采用特定的损失函数以生成遵循输入草图结构的多个 3D 模型的问题。
Jun, 2023
该论文提出了一种名为 Sketch3D 的新型生成算法,通过形状保持生成过程实例化给定的草图,根据参考图像推断出粗糙的三维高斯先验,并生成基于三维高斯的多视角一致性引导图像,通过三种策略优化三维高斯,从而生成具有真实感的三维资产并与输入一致。
Apr, 2024
本文提出了基于观点控制生成的方法,旨在解决单个手绘素描生成三维网格的问题,从而帮助初学者快速地进行三维建模。实验表明,该方法可以有效地提高重建质量,并帮助解决手绘素描的模糊问题。
May, 2021