3DStyle-Diffusion:使用 2D 扩散模型追求细粒度基于文本的 3D 风格化
本文提出了一种新的方法,结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络,用于生成高质量,风格化的 3D 头像,并在视觉质量和多样性方面优于现有最先进的方法。
May, 2023
本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法,该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制,将 2D 的扩散模型作为先验,通过梯度下降优化 3D 模型(Neural Radiance Field),并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据,也不需要修改图像扩散模型,证明了使用预训练的图像扩散模型作为先验的有效性。
Sep, 2022
本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法,并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题,取得了较好的效果。
Nov, 2022
通过使用一种新颖的方法,我们对给定的带有 UV 参数化的 3D 网格生成纹理,并使用单一的深度对图像扩散网络在 3D 表面上呈现一致的纹理,通过统一多个 2D 图像的扩散路径并通过 MultiDiffusion 技术将其提升为 3D。我们使用评估指标 CLIP-score 和 Frechet Inception Distance (FID) 来评估渲染质量,并展示了相对于之前的研究的改进。
Dec, 2023
本文采用一种新方法,通过给定文本提示和 3D 网格来生成 3D 模型的纹理。该方法考虑了额外的深度信息,利用深度条件稳定扩散的评分蒸馏采样过程生成纹理。我们在开源数据集 Objaverse 上运行了模型,并进行了用户研究,与各种 3D 纹理方法的结果进行了比较。我们证明了我们的模型可以生成更令人满意的结果,并为同一对象产生各种艺术风格。此外,在生成可比质量的纹理时,我们取得了更快的时间。我们还进行了彻底的消融研究,研究了不同因素对生成质量的影响,包括采样步骤、引导尺度、负提示、数据增强、高度范围和替代 SDS 方法。
Nov, 2023
我们提出了一个新的框架 DiffusionGAN3D,通过结合 3D GANs 和扩散先验来增强文本引导的 3D 领域适应和生成,该方法在领域适应和文本到头像任务中取得了优异的生成质量和效率结果。
Dec, 2023
提出了一种新的任务,文本驱动的风格化图像生成,以进一步增强内容创造中的可编辑性,通过升级经过训练的文本到图像模型与可训练的调制网络,同时引入扩散样式和内容正则化,实现了高质量的风格化文本到图像生成。
Nov, 2023
提出一种新颖的图像编辑技术,可以在单幅图像上进行三维操作,如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型,实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑,突破了单幅图像三维感知编辑的可能性的局限。
Mar, 2024
通过使用经过微调的 2D 扩散模型的多视角 2.5D 扩散方法,我们填补了 2D 扩散和直接 3D 扩散方法之间的差距,为 3D 内容生成提供了多样性、无模式寻找和高保真度,仅需 10 秒。
Nov, 2023