Sketch3D:风格一致指导的草图生成三维模型
This paper explores the use of pre-trained models and synthetic renderings to generate 3D shapes from sketches without the need for paired datasets, demonstrating the effectiveness of the approach for generating multiple 3D shapes per input sketch regardless of their level of abstraction.
Jul, 2023
使用稀疏射线采样方法通过关键点监督,实现了在当前管道中显式注入来自检索参考对象的 3D 先验,以确保高质量和多样化的 3D 几何,同时保持 2D 扩散模型的生成质量和多视角一致性。
Mar, 2024
利用 StyleGAN2 图像生成架构和基于 SDF 的三维卷积网络,我们提出一种高分辨率、一致性的三维图像和形状生成技术,称为 StyleSDF,用于从单视角 RGB 数据生成高分辨率图像和细节的三维形状模型。
Dec, 2021
本文提出了一种基于素描和文本引导的彩色点云生成概率扩散模型,通过结合物体的手绘素描和文本描述,联合进行去噪过程,逐步扩散点坐标和颜色值以达到高斯分布,从而产生所需形状和颜色的彩色点云生成结果。
Aug, 2023
该论文提出了一个基于 GAN 框架的新方法,用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像;该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块,以增强风格一致性和内容约束,并取得了显著的合成性能提升。
Feb, 2020
本研究提出了一种基于参考图像的自动着色任务的方法,使用几何失真的相同图像作为虚拟参考,以保证着色输出图像的基本真实性和密集语义对应关系,在内部注意机制中利用密集语义对应关系实现了颜色从参考到草图输入的转换,并在定量和定性评估中展示了该方法的有效性。
May, 2020
该研究旨在探索利用虚拟现实草图作为 3D 模型生成网络的条件模态之一,通过使用多模态 3D 形状表示和实现物理合理性的方法,在模型训练过程中采用特定的损失函数以生成遵循输入草图结构的多个 3D 模型的问题。
Jun, 2023
本研究提出了一种基于阴影引导的生成式隐式模型,该模型利用多角度光照约束对 3D 物体进行建模,使得在不同光照条件下产生逼真的渲染效果,从而改善先前方法在表达精确 3D 形状方面的局限性,并成功应用于图像重照和 3D 形状重建任务。
Oct, 2021
该论文提出了一种通用的多模态生成模型,通过共享潜在空间将 2D 模态和隐式 3D 表示耦合在一起,实现了通过简单地传播来自特定 2D 控制模态的编辑,从而实现了多样化的 3D 生成和操作。
Jul, 2022
AR/VR 发展迅速,对 3D 内容需求巨大。本研究提出一种基于手绘草图的 3D 建模方法,使用单个手绘草图生成高保真内容,无需多个视图或步骤。采用端到端方法,引入轻量级生成网络和结构感知对抗训练,并通过 Stroke Enhancement Module(SEM)捕捉结构信息,提升性能。实验证明该方法在合成和真实数据集上具有最先进的性能。
Sep, 2023