Jan, 2024

BoostDream：高质量的多视角扩散文本到 3D 生成的高效细化

PDF
TL;DRBoostDream 是一个高效的插件式 3D 细化方法，能够将粗糙的 3D 资产转化为高质量的 3D 资产，通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比，BoostDream 在生成高质量的 3D 资产方面表现出色，克服了双面问题，从而实现了 3D 生成过程的效率和质量的重大进展。
发现论文，激发创造
  • 基於預訓練多視圖擴散模型的扎實可組件化且多樣性的文本至三維

    本文提出了一种名为 Grounded-Dreamer 的有效两阶段方法，通过使用预训练的多视角扩散模型，在准确遵循复杂的、构成性的文本提示的同时实现高保真度，生成能够准确遵循复杂、构成性文本提示的 3D 资产。

    Apr, 2024

  • 用于文本到 3D 生成的检索增强得分蒸馏

    通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

    Feb, 2024

  • 稳定梦想者：驯服嘈杂的分数蒸馏采样用于文本到三维

    在文本到 3D 生成领域，通过得分提取采样 (SDS) 使用的 2D 扩散模型经常导致模糊外观和多面几何等问题，本研究通过分析发现这些挑战的核心是 2D 扩散过程中噪声水平、扩散网络架构和 3D 模型表示之间的相互作用，在这些局限上，我们提出了 StableDreamer，它包含了三个新进展，通过此方法能够解决多面几何问题、生成高保真的 3D 模型并且稳定收敛。

    Dec, 2023

  • DreamFlow：通过近似概率流进行高质量的文字到三维图像生成

    通过利用预训练的 T2I 扩散模型，借助预定时间步长安排，将文本到 3D 优化提升为多视角图像到图像转换问题，我们提出了一种新的优化算法和实用的三阶段粗到精的文本到 3D 优化框架 DreamFlow，实现快速生成高质量、高分辨率（1024x1024）的 3D 内容。

    Mar, 2024

  • ProlificDreamer: 高保真度和多样性的文本生成 3D 影像技术，基于变分分数精炼

    本文提出了一种新的面向文本到三维立体生成的方法，即基于随机变量的粒子变分打分抽样，通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题，并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。

    May, 2023

  • VividDreamer：朝向高保真高效的文本到 3D 生成

    提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。

    Jun, 2024

  • ET3D：通过多视角蒸馏实现高效的文本到三维生成

    通过使用大型预训练的文本到图像扩散模型生成的图像作为监督信号，我们提出了一种高效的文本到 3D 生成方法，在消费级显卡上仅需约 8 毫秒即可根据文本提示生成一个 3D 资产，并且不需要 3D 训练数据，通过提炼预训练图像扩散模型为高效文本到 3D 生成提供了一种替代方法。

    Nov, 2023

  • DreamCraft3D：基于推断扩散先验的分层三维生成

    DreamCraft3D 是一个层次化的 3D 内容生成方法，通过使用 2D 参考图像来引导几何雕刻和纹理增强的阶段，解决了现有方法遇到的一致性问题，使用得分蒸馏采样和视角相关的扩散模型来生成一致的几何体，并通过训练个性化的扩散模型来提高纹理质量，最终生成具有逼真渲染效果的连贯的 3D 对象。

    Oct, 2023

  • IM-3D：迭代多视图扩散与重建的高质量 3D 生成

    在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

    Feb, 2024

  • EucliDreamer: 快速而高质量的稳定扩散深度三维模型纹理化

    本文采用一种新方法，通过给定文本提示和 3D 网格来生成 3D 模型的纹理。该方法考虑了额外的深度信息，利用深度条件稳定扩散的评分蒸馏采样过程生成纹理。我们在开源数据集 Objaverse 上运行了模型，并进行了用户研究，与各种 3D 纹理方法的结果进行了比较。我们证明了我们的模型可以生成更令人满意的结果，并为同一对象产生各种艺术风格。此外，在生成可比质量的纹理时，我们取得了更快的时间。我们还进行了彻底的消融研究，研究了不同因素对生成质量的影响，包括采样步骤、引导尺度、负提示、数据增强、高度范围和替代 SDS 方法。

    Nov, 2023