Nov, 2023

GeoDream: 高保真和一致的 3D 生成中的解耦 2D 和几何先验

PDF
TL;DR通过结合三维几何先验和二维扩散先验，GeoDream 方法能够生成具有一致的三维几何结构的文本到三维模型，并提供更高分辨率、真实感的渲染和更好的语义一致性。
text-to-3d generationdiffusion models3d geometric structuresgeodream3d priors
发现论文，激发创造
  • SweetDreamer：对齐 2D 扩散中的几何先验以实现一致性的文本到 3D

    通过将 2D 扩散模型中的几何先验与定义良好的 3D 形状进行对齐，我们提高了一致性，解决了多视角不一致问题，并获得了新的最先进性能，85% 以上的一致性率，远高于以前的方法。

    Oct, 2023

  • GeoWizard：从单张图像中释放 3D 几何估计的扩散先验

    我们介绍了一种新的生成式基础模型 GeoWizard，用于从单幅图像中估计几何属性，例如深度和法线。我们展示了生成模型在解决固有的不适定问题方面的有效性，通过扩展原始的稳定扩散模型同时预测深度和法线，我们可以捕捉具有显著保真度的 3D 几何信息。GeoWizard 在零样本深度和法线预测方面树立了新的基准，大大提升了许多下游应用程序的性能。

    Mar, 2024

  • MetaDreamer：高效文本生成三维模型的几何和纹理分离

    MetaDreammer 是一种基于 2D 和 3D 先验知识的两阶段优化方法，通过在优化过程中分别使用 2D 和 3D 先验知识，有效减轻几何与纹理之间的相互依赖，从而在 3D 生成过程中节省时间并生成高质量的 3D 对象。与现有技术相比，MetaDreammer 是一种高效的文本到 3D 生成方法，并且还引入了图像控制来增强对 3D 生成过程的可控性。

    Nov, 2023

  • UniDream：统一扩散先验用于可重灯效的文本生成三维

    利用 UniDream 框架通过整合统一的扩散先验方法来生成具有清晰的反照率纹理、更光滑表面、增强逼真度和卓越光照效果的 3D 物体。

    Dec, 2023

  • DreamSparse: 基于 2D 扩散模型的稀疏视角逃离柏拉图的洞穴

    本研究中，我们探讨了如何在缺乏信息情况下，运用预先训练的扩散模型来合成全新视角的高质量图像，提出了 DreamSparse 框架，并利用几何模块来抓取 3D 特征，将其转化成空间信息来指导生成过程，并通过改进 2D 扩散模型的方式来保证其生成几何一致的图像，通过实验证明了该方法的有效性。

    Jun, 2023

  • EfficientDreamer: 高保真和鲁棒的三维创作通过正交视图扩散先验

    通过引入一种新的二维扩散模型来生成由四个正交视图子图像组成的图像，从而利用正交视图图像引导生成高保真度的三维内容，并应用渐进式三维合成策略，显著提高了生成效率和质量，包括解决了 Janus 问题，并在定量和定性评估中证明了优越性。

    Aug, 2023

  • DreamControl: 基于控制的文本到 3D 生成与 3D 自先

    通过 DreamControl 的两阶段 2D-lifting 框架，实现了在 3D 生成中解决几何不一致性的 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。

    Dec, 2023

  • DiffusionGAN3D: 结合 3D GANs 和 Diffusion 先验的文本引导的 3D 生成和领域适应

    我们提出了一个新的框架 DiffusionGAN3D，通过结合 3D GANs 和扩散先验来增强文本引导的 3D 领域适应和生成，该方法在领域适应和文本到头像任务中取得了优异的生成质量和效率结果。

    Dec, 2023

  • DreamFusion: 使用 2D 扩散进行文本到 3D 转换

    本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法，该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制，将 2D 的扩散模型作为先验，通过梯度下降优化 3D 模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。

    Sep, 2022

  • 使用双向扩散结合 2D 和 3D 先验的文本至 3D 生成

    以 Bidirectional Diffusion（BiDiff）为框架，同时整合 3D 和 2D 扩散过程，既保持了 3D 的真实性，又保留了 2D 纹理的丰富性，通过新颖的双向引导进一步提高一致性，将生成的过程从 3.4 小时减少到 20 分钟，以达到高质量、多样性和可伸缩性的 3D 生成。

    Dec, 2023