Dec, 2023

对抗性得分蒸馏：当得分蒸馏遇上 GAN

PDF
TL;DR现有的分数蒸馏方法对于分类器无关指导（CFG）的尺度非常敏感，表现为小的 CFG 尺度上的过度平滑或不稳定，而在大的尺度上过饱和。本文提出了对抗性分数蒸馏 (ASD) 方法，它使用可优化的鉴别器并使用完整的优化目标进行更新。实验证明，所提出的 ASD 在 2D 蒸馏和文本到 3D 任务中表现优异，并将 ASD 扩展到图像编辑任务，获得有竞争力的结果。
score distillationclassifier-free guidancewasserstein generative adversarial networkadversarial score distillationgeneralization ability
发现论文，激发创造
  • 高质量三维生成的稳定分数蒸馏

    通过对 Score Distillation Sampling（SDS）进行解释，我们揭示了其作为三个功能组成部分 —— 模式分离、模式寻找和方差降低的组合，并分析了每个组成部分的特性。在此基础上，我们提出了一种名为稳定评分蒸馏（SSD）的简单而有效的方法，有效地协调每个组成部分，实现高质量的 3D 内容生成。大量实验证实了我们方法的有效性，即使在最具挑战性的 NeRF 表示下，也能生成高保真度的 3D 内容而不会出现过度平滑和过度饱和等问题。

    Dec, 2023

  • 通过三维一致噪声和梯度一致性建模的几何感知评分蒸馏

    通过引入 GSD 框架，将三维一致性和几何意识融入 SDS 过程，该方法显著提高了性能，在文本到三维生成任务中成功解决了几何不一致性问题，并与现有的基于分值蒸馏的模型兼容。

    Jun, 2024

  • 得分蒸馏采样与学习的流形校正

    Score Distillation Sampling 方法使用图像扩散模型解决优化问题，我们分析了其损失函数并提出有效修复方案，通过定量和定性实验验证了新的损失公式的多样性和有效性。

    Jan, 2024

  • 使用分类器分数蒸馏的文本到 3D 转换

    通过对分类器无关指导在分数蒸馏中的作用进行重新评估，我们发现了一个令人惊讶的发现：仅仅用指导就足够进行有效的文本到 3D 生成任务。我们称之为分类器分数蒸馏（CSD）方法，它可以理解为使用隐式分类模型进行生成。这种新视角揭示了对现有技术的新见解。我们在形状生成、纹理合成和形状编辑等各种文本到 3D 任务中验证了 CSD 的有效性，取得了优于现有方法的结果。

    Oct, 2023

  • 无噪音分数蒸馏

    通过解释 Score Distillation Sampling (SDS) 过程中存在的一个不需要的噪声项的蒸馏的必要性，本文提出了一种新的无噪声评分蒸馏（NFSD）过程，通过极少的修改实现了对预训练文本到图像扩散模型的更有效蒸馏。

    Oct, 2023

  • 重新考虑分数蒸馏作为图像分布之间的桥梁

    通过最优成本传输路径的观点，我们提出了一种新的方法，通过校准源分布的文本条件，可以在许多领域中产生高质量的生成和翻译结果，并击败专用方法的性能。

    Jun, 2024

  • 基于对抗蒸馏的计算机辅助设计：逼真三维生成

    利用预训练扩散模型的一种新型学习方法，直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模，从而实现了高保真度和逼真度的三维内容生成，条件为单张图像和提示。通过利用生成对抗网络（GANs）的潜在空间和表达力丰富的扩散模型先验，我们的方法促进了各种三维应用，包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明，与以往的工作相比，我们的流程在生成质量和多样性方面表现出更强的优势。

    Dec, 2023

  • 通过重新参数化的 DDIM 进行分数蒸馏

    通过修改 DDIM，我们的方法在 3D 生成中消除了过度平滑，保留了高频细节，并使生成质量接近于 2D 采样器，从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量，而无需训练额外的神经网络或多视图监督，并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。

    May, 2024

  • ScaleDreamer: 异步分数蒸馏的可扩展文本到 3D 合成

    通过异步分步衰减噪声的辅助分数精炼以及扩展的计算机视觉模型，我们提出的算法对文本生成三维内容进行了高质量、可扩展的训练和综合，尤其在大型文本数据集下表现出卓越的一致性。

    Jul, 2024

  • 一致视觉合成的协作分数蒸馏

    在多样化的视觉模态中，利用大规模文本生成模型进行生成和编辑应用时，跨多图像实现一致性是具有挑战性的，本文提出了一种基于 CSD 的新方法，该方法利用 SVGD 将多个样本视为 “粒子” 进行更新，并组合它们的评分函数以同步地蒸馏一组图像的生成先验，从而促进了 2D 图像信息的无缝集成，展示了 CSD 方法在全景图像、视频和 3D 场景等任务中的有效性，具有提高交叉样本一致性的实用性。

    Jul, 2023