Jun, 2023

通过并行得分匹配实现扩散模型的更快训练和改进密度估计

HTML
PDF
TL;DR本文提出一种基于独立神经网络的时间划分模型来快速提高DPMs训练速度和提升密度估计性能。
发现论文，激发创造
  • 关于扩散概率模型的快速采样

    FastDPM是一种用于快速抽样扩散概率模型的统一框架，通过在不同领域、不同数据集上系统地研究该框架下的快速抽样方法，探讨了特定方法在不同数据领域、抽样速度与质量权衡以及条件信息的数量上的性能差异，并为从业者提供了选择方法的洞见和配方。

    May, 2021

  • 扩散模型知识蒸馏的综合调查

    许多概率模型可以灵活地提取 Diffusion Models 来学习基础知识，该论文提供了现代方法的全面概述，以提取 Diffusion Models 中的知识，并共享一些在该领域开始研究的基本了解人士可能感兴趣的信息。

    Apr, 2023

  • Patch Diffusion：扩散模型的更快、更省数据训练

    提出了一种名为Patch Diffusion的通用Patch-wise训练框架，其核心创新是新的条件分数函数，它在原始图像的Patch级别包括Patch位置作为附加坐标通道，并且通过训练在多个尺度上对Patch大小进行随机和多样化，从而达到显著减少训练时间成本同时提高数据效率以帮助更广泛的用户学习扩散模型。

    Apr, 2023

  • 扩散模型辅助监督学习用于密度估计的生成模型

    基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

    Oct, 2023

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 通过凸优化对基于神经网络的生成扩散模型进行分析

    本研究提出了一个理论框架，通过将评分匹配和去噪评分匹配视为凸优化问题，对基于两层神经网络的扩散模型进行了分析。尽管现有的扩散理论主要是渐近的，但我们对有限数据的神经网络扩散模型进行了确切的预测评分函数表征，并建立了收敛结果，从而有助于理解非渐近设置中神经网络扩散模型的学习过程。

    Feb, 2024

  • 基于分数的扩散模型中使用评分嵌入进行高效去噪

    通过解决数值上求解对数密度福克-普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率，并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数，我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能，其意义上地以更快速度实现了类似的质量。

    Apr, 2024

  • 加速扩散模型的训练：一种一致性现象的启示

    扩散模型在近年来引起了广泛关注，然而其高计算成本限制了实际应用，本文通过研究发现了扩散模型的稳定性，并提出了两种训练加速策略，即课程学习的时间步骤调度和动量衰减策略。实验结果表明，这些策略可以显著减少训练时间并提高生成图像的质量。

    Mar, 2024

  • 操作员提示的分数匹配用于马尔可夫扩散模型

    利用马尔科夫扩散模型的优势，我们提出了Riemannian扩散核平滑和运算器信息得分匹配的技术，改善了扩散模型的训练过程。

    Jun, 2024

  • 从最优得分匹配到最优采样

    本研究解决了得分匹配在高维数据生成中的理论不足，提出了一种新的最优得分估计方法，建立了光滑密度函数的尖锐最小最大估计速率。研究结果表明，生成的样本分布能够以最优速率逼近真实分布，显著提升了得分匹配模型的理论基础。

    Sep, 2024