Dec, 2023

应对文本到三维生成中的得分蒸馏模式崩溃

PDF
TL;DR通过引入熵项于 3D 分数蒸馏目标函数并采用无分类器指导技巧，本论文提出了一种名为 'Entropic Score Distillation' 的方法，有效解决了分数蒸馏中的 Janus 人工生成物问题。
score distillationtext-to-3d generationjanus artifactmode collapseentropic score distillation
发现论文，激发创造
  • 偏差校正 2D 扩散的分值和提示以实现鲁棒的文本到 3D 生成

    研究了文本到 3D 生成中的 Janus 问题，提出了得分去偏置和提示去偏置两种方法来解决该问题，并通过实验证明了这些方法的有效性。

    Mar, 2023

  • 一种基于得分蒸馏采样的文本到 3D 的定量评估

    通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

    Feb, 2024

  • 高质量三维生成的稳定分数蒸馏

    通过对 Score Distillation Sampling（SDS）进行解释，我们揭示了其作为三个功能组成部分 —— 模式分离、模式寻找和方差降低的组合，并分析了每个组成部分的特性。在此基础上，我们提出了一种名为稳定评分蒸馏（SSD）的简单而有效的方法，有效地协调每个组成部分，实现高质量的 3D 内容生成。大量实验证实了我们方法的有效性，即使在最具挑战性的 NeRF 表示下，也能生成高保真度的 3D 内容而不会出现过度平滑和过度饱和等问题。

    Dec, 2023

  • 用于文本到 3D 生成的检索增强得分蒸馏

    通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

    Feb, 2024

  • 高效文本引导的三维感知人像生成：应用得分蒸馏采样于分布

    本研究提出了一种名为 DreamPortrait 的算法，它可以在一个前向传递中生成文本引导下的 3D 感知画像，通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布，进一步设计了 3D 感知门控交叉关注机制，生成高效且具有鲁棒的多视图语义一致性的人像。

    Jun, 2023

  • 通过三维一致噪声和梯度一致性建模的几何感知评分蒸馏

    通过引入 GSD 框架，将三维一致性和几何意识融入 SDS 过程，该方法显著提高了性能，在文本到三维生成任务中成功解决了几何不一致性问题，并与现有的基于分值蒸馏的模型兼容。

    Jun, 2024

  • 使用分类器分数蒸馏的文本到 3D 转换

    通过对分类器无关指导在分数蒸馏中的作用进行重新评估，我们发现了一个令人惊讶的发现：仅仅用指导就足够进行有效的文本到 3D 生成任务。我们称之为分类器分数蒸馏（CSD）方法，它可以理解为使用隐式分类模型进行生成。这种新视角揭示了对现有技术的新见解。我们在形状生成、纹理合成和形状编辑等各种文本到 3D 任务中验证了 CSD 的有效性，取得了优于现有方法的结果。

    Oct, 2023

  • 4D-fy: 使用混合分数蒸馏抽样实现文本到 4D 生成

    使用混合得分蒸馏取样的方法，我们展示了具有引人注目外观、3D 结构和动态的 4D 场景的合成。

    Nov, 2023

  • ScaleDreamer: 异步分数蒸馏的可扩展文本到 3D 合成

    通过异步分步衰减噪声的辅助分数精炼以及扩展的计算机视觉模型，我们提出的算法对文本生成三维内容进行了高质量、可扩展的训练和综合，尤其在大型文本数据集下表现出卓越的一致性。

    Jul, 2024

  • 基于对抗蒸馏的计算机辅助设计：逼真三维生成

    利用预训练扩散模型的一种新型学习方法，直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模，从而实现了高保真度和逼真度的三维内容生成，条件为单张图像和提示。通过利用生成对抗网络（GANs）的潜在空间和表达力丰富的扩散模型先验，我们的方法促进了各种三维应用，包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明，与以往的工作相比，我们的流程在生成质量和多样性方面表现出更强的优势。

    Dec, 2023