Dec, 2023

基于对抗蒸馏的计算机辅助设计：逼真三维生成

PDF
TL;DR利用预训练扩散模型的一种新型学习方法，直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模，从而实现了高保真度和逼真度的三维内容生成，条件为单张图像和提示。通过利用生成对抗网络（GANs）的潜在空间和表达力丰富的扩散模型先验，我们的方法促进了各种三维应用，包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明，与以往的工作相比，我们的流程在生成质量和多样性方面表现出更强的优势。
3d datagenerative pipelinesdiffusion modelshigh-fidelity3d applications
发现论文，激发创造
  • VividDreamer：朝向高保真高效的文本到 3D 生成

    提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。

    Jun, 2024

  • 通过重新参数化的 DDIM 进行分数蒸馏

    通过修改 DDIM，我们的方法在 3D 生成中消除了过度平滑，保留了高频细节，并使生成质量接近于 2D 采样器，从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量，而无需训练额外的神经网络或多视图监督，并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。

    May, 2024

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • 快速高分辨率图像合成与潜在敌对扩散蒸馏

    通过利用预训练的潜在扩散模型的生成特征，我们引入了一种名为 LADD 的新的蒸馏方法，它简化了训练并提高了性能，实现了高分辨率的多纵横比图像合成。我们将 LADD 应用于 Stable Diffusion 3 (8B) 以获得 SD3-Turbo，这是一个快速模型，仅使用四个无导向采样步骤就能达到与现有技术文本到图像生成器相当的性能。此外，我们还系统地研究了其扩展行为，并展示了 LADD 在图像编辑和修复等各种应用中的有效性。

    Mar, 2024

  • 高质量三维生成的稳定分数蒸馏

    通过对 Score Distillation Sampling（SDS）进行解释，我们揭示了其作为三个功能组成部分 —— 模式分离、模式寻找和方差降低的组合，并分析了每个组成部分的特性。在此基础上，我们提出了一种名为稳定评分蒸馏（SSD）的简单而有效的方法，有效地协调每个组成部分，实现高质量的 3D 内容生成。大量实验证实了我们方法的有效性，即使在最具挑战性的 NeRF 表示下，也能生成高保真度的 3D 内容而不会出现过度平滑和过度饱和等问题。

    Dec, 2023

  • RL 梦想：基于得分传递的三维生成的策略梯度优化

    3D 生成在过去十年中迅速发展，得益于生成建模领域的进步。得分蒸馏采样（SDS）渲染大大提高了 3D 资源生成的水平。此外，最近的溯源扩散策略优化（DDPO）工作表明扩散过程与策略梯度方法兼容，并已通过美学评分函数改进了 2D 扩散模型。我们首先展示了这个美学评分器在各种基于 SDS 的方法中作为强有力的指导，并展示了它在文本到 3D 合成中的有效性。此外，我们利用 DDPO 方法改进了从 2D 扩散模型获得的 3D 渲染质量。我们的方法 DDPO3D 采用了策略梯度方法和美学评分。据我们所知，这是第一种将策略梯度方法扩展到基于得分的 3D 渲染的方法，并显示了对 SDS-based 方法（如 DreamGaussian）的改进。我们的方法与基于得分蒸馏的方法兼容，可以将各种奖励函数融入生成过程中。您可以通过此网址访问我们的项目页面 https URL。

    Dec, 2023

  • Farm3D：通过 2D 扩散提取的方法学习关节化 3D 动物

    Farm3D 是一种方法，利用 2D 扩散型图像生成器的自由虚拟监督完全学习分解对象的类别特定的 3D 重构器。

    Apr, 2023

  • Consistent3D: 通过确定性采样先验实现一致高保真度的文本到 3D 生成

    通过分析分数蒸馏抽样（SDS）及其变体，我们发现其蒸馏抽样过程实际上对应于随机微分方程（SDE）的轨迹抽样，这启发我们提出了一种新颖有效的 “Consistent3D” 方法，该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明，Consistent3D 在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。

    Jan, 2024

  • 一种基于得分蒸馏采样的文本到 3D 的定量评估

    通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

    Feb, 2024

  • 高效文本引导的三维感知人像生成：应用得分蒸馏采样于分布

    本研究提出了一种名为 DreamPortrait 的算法，它可以在一个前向传递中生成文本引导下的 3D 感知画像，通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布，进一步设计了 3D 感知门控交叉关注机制，生成高效且具有鲁棒的多视图语义一致性的人像。

    Jun, 2023