透明物理分析推导了扩散模型中的涨落定理、熵产生、Franz-Parisi 势函数，从非平衡物理的角度理解了最近发现的内在相变现象，该统一原理预计将引导机器学习从业者设计更好的算法，也将把机器学习与非平衡热力学联系起来。

May, 2024

本文探讨了生成扩散模型的动力学性质，发现其决定性的相变点将其生成过程分为两个不同的阶段，对此我们提出了一种高斯后初始化方案，可显著提高模型性能，增加样本多样性并减少偏差，实验表明在快速采样上可实现 3 倍的 FID 改进。

May, 2023

利用统计物理方法，我们研究了在空间维度和数据量非常大且得分函数经过最优训练的情况下的生成性扩散模型。我们的分析揭示了在向后生成性扩散过程中的三个不同的动力学阶段。生成动力学从纯噪声开始，首先经历了一次 “分化” 转变，其中数据的总体结构得到了揭示，通过类似相变中的对称性破缺机制实现。随后，在后续时间内出现了一次 “坍塌” 转变，其中动力学轨迹开始被吸引到记忆的数据点之一，通过类似玻璃相凝聚的机制实现。对于任何数据集，可以从相关矩阵的谱分析中找到分化时间，并可以通过数据中 “额外熵” 的估计找到坍塌时间。坍塌时间对维度和数据量的依赖性为扩散模型的维度灾难提供了彻底的表征。对于高维高斯混合模型等简单模型的解析解验证了这些结果并提供了理论框架，而对于更复杂的场景的扩展和与真实数据集的数值验证则确认了理论预测。

Feb, 2024

生成扩散模型的理论发展主要分为两种方法，基于训练和基于采样，将这些方法明确分类为研究者未来进行新发展提供清晰可理解的方向。

Apr, 2024

扩散模型通过训练大量数据点，利用逐渐添加随机噪声和逆扩散过程将数据样本从复杂分布转换为简单分布，并学习数据流形，优于其他方法（包括生成对抗网络）来建模自然图像等分布。

Dec, 2023

本文提出了一种基于扩散算法生成图像的模型，将前向热方程的解释为噪声后的扩散潜变量模型的变分近似。其具有整体颜色和形状解耦的性质，同时通过自然图像上的谱分析，揭示了其暗含的自上而下的归纳偏置。

Jun, 2022

借助深度生成网络，本文提出了一种新颖的生成框架 —— 方法，在计算化学和药物开发领域推动了从二维分子结构推断三维分子构型的精确性，通过一个马尔科夫链过程，将随机噪声的分布转化为连贯的分子形式，并在尊重特定要求的基础上通过一个精心设计的双层优化方案实现了分子的三维形式的实现。

Dec, 2023

该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

Jun, 2023

该研究通过将生成扩散模型（DMs）与随机量子化与随机微分方程的角度链接，深入探讨了机器学习与晶格场论之间的联系。我们展示了 DMs 可以通过逆转由 Langevin 方程驱动的随机过程的方式进行概念化，从而生成来自初始分布的样本以近似目标分布。通过一个玩具模型，我们强调了 DMs 学习有效动作的能力。此外，我们展示了作为二维 Phi^4 量子晶格场论中生成配置的全局采样器的可行性。

Nov, 2023

针对量子系统状态的生成建模问题，本文提出了一种基于去噪扩散模型的方法，其关键创新点在于考虑了物理性质中的量子状态约束，通过 Mirror Diffusion Model 和设计出的镜像映射实现了严格保持结构的生成，实验验证了无条件生成和通过无监督分类器引导的条件生成的有效性，后者甚至在未知标签上生成了新的量子状态。

Apr, 2024