DreamCraft3D:基于推断扩散先验的分层三维生成
BoostDream 是一个高效的插件式 3D 细化方法,能够将粗糙的 3D 资产转化为高质量的 3D 资产,通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比,BoostDream 在生成高质量的 3D 资产方面表现出色,克服了双面问题,从而实现了 3D 生成过程的效率和质量的重大进展。
Jan, 2024
以 Bidirectional Diffusion(BiDiff)为框架,同时整合 3D 和 2D 扩散过程,既保持了 3D 的真实性,又保留了 2D 纹理的丰富性,通过新颖的双向引导进一步提高一致性,将生成的过程从 3.4 小时减少到 20 分钟,以达到高质量、多样性和可伸缩性的 3D 生成。
Dec, 2023
使用稀疏射线采样方法通过关键点监督,实现了在当前管道中显式注入来自检索参考对象的 3D 先验,以确保高质量和多样化的 3D 几何,同时保持 2D 扩散模型的生成质量和多视角一致性。
Mar, 2024
我们提出 MVDream,这是一个多视图扩散模型,能够根据给定的文本提示生成几何一致的多视图图像。通过利用在大规模 Web 数据集上预训练的图像扩散模型和从 3D 资源渲染的多视图数据集,所得到的多视图扩散模型可以实现 2D 扩散的概括性和 3D 数据的一致性。该模型可以被应用为 3D 生成的多视图先验,通过 Score Distillation Sampling 来解决现有 2D-lifting 方法中的 3D 一致性问题,从而极大地提高了稳定性。最后,我们展示了多视图扩散模型也可以在少量样本设置下进行微调,用于个性化的 3D 生成,即 DreamBooth3D 应用中,在学习主体身份之后可以保持一致性。
Aug, 2023
本研究提出了一种名为 DreamPortrait 的算法,它可以在一个前向传递中生成文本引导下的 3D 感知画像,通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布,进一步设计了 3D 感知门控交叉关注机制,生成高效且具有鲁棒的多视图语义一致性的人像。
Jun, 2023
提出一种名为 Bootstrap3D 的新框架,它能自动生成任意数量的多视图图像,为多视图扩散模型的训练提供帮助。还引入了数据生成流水线和训练时间步骤重新安排策略,并通过大量实验证明 Bootstrap3D 能生成具有高质量、美学性、图像 - 文本对齐度和视图一致性的多视图图像。
May, 2024
通过检索辅助的方法,RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题,并实现了几何一致性和生成场景的忠实度的显著改进。
Feb, 2024
利用预训练扩散模型的一种新型学习方法,直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模,从而实现了高保真度和逼真度的三维内容生成,条件为单张图像和提示。通过利用生成对抗网络(GANs)的潜在空间和表达力丰富的扩散模型先验,我们的方法促进了各种三维应用,包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明,与以往的工作相比,我们的流程在生成质量和多样性方面表现出更强的优势。
Dec, 2023
通过 DreamControl 的两阶段 2D-lifting 框架,实现了在 3D 生成中解决几何不一致性的 Janus 问题,并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。
Dec, 2023