EucliDreamer: 高速高质量的基于深度条件稳定扩散的三维模型纹理生成
本文采用一种新方法,通过给定文本提示和 3D 网格来生成 3D 模型的纹理。该方法考虑了额外的深度信息,利用深度条件稳定扩散的评分蒸馏采样过程生成纹理。我们在开源数据集 Objaverse 上运行了模型,并进行了用户研究,与各种 3D 纹理方法的结果进行了比较。我们证明了我们的模型可以生成更令人满意的结果,并为同一对象产生各种艺术风格。此外,在生成可比质量的纹理时,我们取得了更快的时间。我们还进行了彻底的消融研究,研究了不同因素对生成质量的影响,包括采样步骤、引导尺度、负提示、数据增强、高度范围和替代 SDS 方法。
Nov, 2023
TextureDreamer 是一种新颖的图像引导纹理合成方法,能够将可在任何类别的目标 3D 形状上转移到少量输入图像(3 到 5 张)中的纹理。
Jan, 2024
通过使用一种新颖的方法,我们对给定的带有 UV 参数化的 3D 网格生成纹理,并使用单一的深度对图像扩散网络在 3D 表面上呈现一致的纹理,通过统一多个 2D 图像的扩散路径并通过 MultiDiffusion 技术将其提升为 3D。我们使用评估指标 CLIP-score 和 Frechet Inception Distance (FID) 来评估渲染质量,并展示了相对于之前的研究的改进。
Dec, 2023
利用 UniDream 框架通过整合统一的扩散先验方法来生成具有清晰的反照率纹理、更光滑表面、增强逼真度和卓越光照效果的 3D 物体。
Dec, 2023
MetaDreammer 是一种基于 2D 和 3D 先验知识的两阶段优化方法,通过在优化过程中分别使用 2D 和 3D 先验知识,有效减轻几何与纹理之间的相互依赖,从而在 3D 生成过程中节省时间并生成高质量的 3D 对象。与现有技术相比,MetaDreammer 是一种高效的文本到 3D 生成方法,并且还引入了图像控制来增强对 3D 生成过程的可控性。
Nov, 2023
介绍了一种名为 RealmDreamer 的技术,可以通过文本描述生成通用的正面视图 3D 场景,并且具备高质量和多样性。该技术利用先进的文本到图像生成器初始化 3D 平面,并通过多个视图进行 3D 修补和基于图像的扩散建模,从而生成富含几何结构的场景。最后,通过图像生成器的锐化样本对模型进行微调,而无需视频或多视角数据,同时还可以从单个图像合成 3D 场景。
Apr, 2024
BoostDream 是一个高效的插件式 3D 细化方法,能够将粗糙的 3D 资产转化为高质量的 3D 资产,通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比,BoostDream 在生成高质量的 3D 资产方面表现出色,克服了双面问题,从而实现了 3D 生成过程的效率和质量的重大进展。
Jan, 2024
通过结合 CLIP 和 2D Diffusion 模型,我们提出了一种新的 3DStyle-Diffusion 模型,能够在文本驱动的几何和外观引导下,实现对 3D 网格的细粒度样式化。
Nov, 2023
本文提出了基于自然语言的房间风格合成算法 RoomDreamer,通过 Geometry Guided Diffusion 和 Mesh Optimization 处理实现 3D 室内场景生成,大幅提升了几何和纹理的一致性和图像质量。
May, 2023
介绍了一种名为 GradeADreamer 的新型三阶段训练流程,使用单个 RTX 3090 GPU,在 30 分钟内生成高质量资产,解决了文本到 3D 生成中常见的 Multi-face Janus 问题和延长生成时间的挑战。通过使用 Multi-view Diffusion Model (MVDream) 生成 Gaussian Splats 作为先验,以及使用 StableDiffusion 优化几何和纹理,实验证明该方法显著缓解了 Multi-face Janus 问题,并且在用户偏好排名上达到了最高平均水平。项目代码可在此 URL 找到。
Jun, 2024