利用统计物理方法,我们研究了在空间维度和数据量非常大且得分函数经过最优训练的情况下的生成性扩散模型。我们的分析揭示了在向后生成性扩散过程中的三个不同的动力学阶段。生成动力学从纯噪声开始,首先经历了一次 “分化” 转变,其中数据的总体结构得到了揭示,通过类似相变中的对称性破缺机制实现。随后,在后续时间内出现了一次 “坍塌” 转变,其中动力学轨迹开始被吸引到记忆的数据点之一,通过类似玻璃相凝聚的机制实现。对于任何数据集,可以从相关矩阵的谱分析中找到分化时间,并可以通过数据中 “额外熵” 的估计找到坍塌时间。坍塌时间对维度和数据量的依赖性为扩散模型的维度灾难提供了彻底的表征。对于高维高斯混合模型等简单模型的解析解验证了这些结果并提供了理论框架,而对于更复杂的场景的扩展和与真实数据集的数值验证则确认了理论预测。
Feb, 2024
通过研究发现,生成扩散模型可以用平衡统计力学的工具进行理解,并且这些模型经历了与对称性破缺现象相对应的二阶相变。作者还探讨了最近有关扩散模型与联想记忆网络的研究,并从热力学的角度进行了论述。
Oct, 2023
我们提出了一个结合扩散映射和兰格朗日动力学的生成模型,通过扩散映射近似训练样本的漂移项,并在离散时间的兰格朗日采样器中实现,以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配,我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验,我们验证了我们提出的方案的性能。
Jan, 2024
透明物理分析推导了扩散模型中的涨落定理、熵产生、Franz-Parisi 势函数,从非平衡物理的角度理解了最近发现的内在相变现象,该统一原理预计将引导机器学习从业者设计更好的算法,也将把机器学习与非平衡热力学联系起来。
May, 2024
该研究介绍了一种生成扩散模型和物理引导技术,可以生成逼真的流动状态序列,从而实现对湍流流动的时间演变的分析,为生成建模在湍流动力学复杂性研究中提供了宝贵的见解。
Jun, 2024
生成扩散模型的理论发展主要分为两种方法,基于训练和基于采样,将这些方法明确分类为研究者未来进行新发展提供清晰可理解的方向。
Apr, 2024
通过发展理论来研究扩散模型的一个有趣特性 —— 关键时间窗口,文中提出了这些窗口的形式框架,并证明了一些数学方面的界限,从而对扩散模型进行了深入解释,并指出关键窗口可以用于诊断实际应用中的公平性和隐私问题。
Mar, 2024
该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论,对于一种常见的确定性采样方法,该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率,对于另一种主流随机采样方法,该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率,同时设计了两种加速变体,进一步提高了收敛速度。
Jun, 2023
本研究提出了一个通用的模型参数化框架,尤其是针对前向 SDE 的空间部分,通过理论保障和实验证明了其优越性。
Jun, 2022
本文将扩展扩散模型的框架,将几何先验引入无限维建模,并通过构建噪声过程和近似得分实现对称性,展示了该模型适用于模拟扩散模型的任意对称性情景以及在复杂的合成场景和天气数据上的可扩展性和容量。
Jul, 2023