Mar, 2024

揭示具有无分类器指导的条件扩散模型：一个尖锐的统计理论

PDF
TL;DR本文通过提出一种锐利的统计理论，通过采用条件扩散模型进行分布估计，以实现对数据分布平滑性的自适应样本复杂度界限，并与极小 max 求解下界相匹配。通过对条件分数函数的近似结果揭示了理论的关键发展，该结果依赖于一种新型扩散泰勒逼近技术。此外，在求解逆问题和奖励条件样本生成等多种应用中，我们还展示了统计理论的实用性。
conditional diffusion modelsdistribution estimationsample complexitystatistical theoryperformance
发现论文，激发创造
  • 基于分数扩散模型的条件图像生成

    本文研究使用基于得分的扩散模型进行深层生成建模的方法，系统比较和理论分析不同方法学习条件概率分布的效果，并证明得出条件得分最成功的估计器的理论依据。同时，介绍了多速度扩散框架，提出了一个新的条件分数估计器，与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库 MSDiff，可用于应用和进一步研究多速度扩散模型。

    Nov, 2021

  • 物理动力系统扩散模型中的用户定义事件采样与不确定性量化

    通过开发一种概率近似方案，使扩散模型能够在推理时间内有条件地采样非线性用户定义事件，从而匹配数据统计，即使从分布的尾部进行采样。

    Jun, 2023

  • 扩散模型概述：应用、引导生成、统计速率和优化

    扩散模型是强大且通用的生成式人工智能技术，在计算机视觉、音频、强化学习和计算生物学等领域取得了巨大的成功。本文回顾了扩散模型的新兴应用，理解了它们在各种控制下的样本生成。同时，我们概述了现有的扩散模型理论，涵盖了它们的统计性质和采样能力。进一步地，我们评述了通过条件扩散模型进行高维结构化优化的新途径，将解决方案的搜索重新定义为条件采样问题，并通过扩散模型进行求解。最后，我们讨论了扩散模型的未来发展方向。本文旨在为刺激前瞻性的扩散模型理论和方法提供全面的理论介绍。

    Apr, 2024

  • 非分类器扩散引导

    本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法，该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。

    Jul, 2022

  • 关于引导式扩散模型的精馏

    本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

    Oct, 2022

  • 扩散引导的理论洞察：高斯混合模型案例研究

    在高斯混合模型的背景下，我们的研究首次对扩散模型中引导信息对其性能的影响进行了理论研究，证明了引入扩散引导不仅提高了分类的置信度，还减少了分布的多样性，导致输出分布的微分熵的降低。我们的分析涵盖了广泛采用的采样方案，包括 DDPM 和 DDIM，利用了微分方程的比较不等式以及描述概率密度函数演化的 Fokker-Planck 方程，这也可能具有独立的理论兴趣。

    Mar, 2024

  • 条件扩散蒸馏

    通过图像条件实现的一种新颖的有条件蒸馏方法，将扩散模型的先验知识与图像条件相结合，大大简化了以往两阶段的蒸馏过程，并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制，实验结果表明，该方法在多个任务上的表现优于现有的人工蒸馏技术，并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。

    Oct, 2023

  • 利用扩散模型对输入噪声进行调控以进行可控图像生成

    通过给扩散模型输入精制的噪声来提高其控制性，从而可以产生基于语义属性的图像。

    May, 2022

  • 基于扩散模型的少样本图像合成的条件分布建模

    条件分布建模 (CDM) 是一种有效利用扩散模型进行少样本图像生成的框架，通过对用于条件化扩散过程的潜空间分布进行建模，CDM 利用训练数据的学习统计信息更好地近似未见类别的分布，从而消除因少样本样本数目限制而引起的偏见，同时我们还设计了一种新颖的基于反演的优化策略，进一步改进了近似的未见类别分布，确保生成样本与未见类别的准确性。我们在四个基准数据集上的实验结果表明了我们提出的 CDM 在少样本生成中的有效性。

    Apr, 2024

  • 具备预训练生成模型的条件图像生成

    通过经验分析，我们提出了一套方法，以降低在扩散模型中引入指导所带来的时间需求和计算开销，并且保持相当的图像质量，从而将计算时间减少大约三倍。

    Dec, 2023