开发了一种热力学理论用于机器学习系统，与物理热力学系统相似的是，机器学习系统也具有能量和熵的特征。我们引入了温度的概念，并建立了一个基本的热力学框架来处理具有非 Boltzmann 分布的机器学习系统。我们将机器学习系统看作具有不同状态的系统，并将模型训练和更新解释为状态相变的过程。我们将机器学习系统的初始潜在能量描述为模型的损失函数，并遵循最小潜在能量原则。我们推导了系统在相变过程中的温度，突出温度作为系统数据分布和机器学习训练复杂性的重要指标。此外，我们将深度神经网络视为具有全局温度和每层局部温度的复杂热能引擎，并介绍了神经网络的工作效率概念，主要取决于神经激活函数。然后，我们根据工作效率对神经网络进行分类，并将神经网络描述为两种类型的热能引擎。

Apr, 2024

通过研究喂给自己生成的内容以及原始训练数据集的生成模型的学习动态，本文旨在提供对 “生成闭环学习” 这一过程的洞察，揭示了没有足够外部数据时，任何非平凡的温度都会导致模型渐近退化，即生成分布要么坍缩为一小组输出，要么在一大组输出上变得均匀。

Apr, 2024

研究表明，系统动力学响应随机信号的过程可以被解释为其计算环境变量的隐含模型；而模型的效率可以用熵来衡量，因此该研究揭示了信息使用的效率与热力学操作的关联。

Mar, 2012

通过学习物理系统中热力学量的 Boltzmann 机器，通过自发的学习机器，我们训练了 Boltzmann 机器， 并通过其生成的自旋状态检验热力学可观测量与直接 MC 采样的差距，证明了 Boltzmann 机器能够忠实地再现物理系统的可观测量，并观察到随着系统接近临界状态需要更多的神经元以获得准确的结果。

Jun, 2016

现代生成式机器学习模型展示出令人惊讶的能力，能够创造出超越其训练数据的逼真产出，如逼真的艺术作品、精确的蛋白结构或对话文本。这些成功表明生成模型学会了有效地参数化和采样任意复杂的分布。本文旨在将经典作品与大规模生成统计学习中的新兴主题联系起来，包括经典吸引子重构、隐空间模型中的潜在表示学习等。还介绍了早期利用符号近似进行比较的努力，与现代努力进行黑盒统计模型的精简和解释相关。新兴的跨学科研究桥接了非线性动力学和学习理论，如用于复杂流体流动的算子理论方法，或者检测生物数据集中打破了详细平衡的情况。我们预计未来的机器学习技术可能会重新审视非线性动力学中的其他经典概念，如信息传输衰减和复杂性 - 熵权衡问题。

Nov, 2023

这项研究通过引入感知力偏差，同时套用热力学第一和第二原理，提高神经网络的准确性，尤其是在涉及到图网络时，通过开发一种本地化版本的感知力偏差，避免了全局 Poisson 和耗散矩阵的拼装，从而保存了图网络的节点结构，并在固体力学和流体力学领域进行了应用，展示出显著的计算效率和高强度的泛化能力。

May, 2024

通过研究发现，生成扩散模型可以用平衡统计力学的工具进行理解，并且这些模型经历了与对称性破缺现象相对应的二阶相变。作者还探讨了最近有关扩散模型与联想记忆网络的研究，并从热力学的角度进行了论述。

Oct, 2023

基于 Port-Hamiltonian 形式主义，我们开发了适用于复杂物理系统的机器学习归纳偏差，以构造满足热力学原则（能量守恒，非负熵产生）的学习物理。

Nov, 2022

基于基本的物理原理，特别重要的是对复杂动态系统进行宏观动力学建模，通过学习化简的热力学坐标和在这些坐标上解释动力学来实现。我们通过在聚合物拉伸和空间流行病的研究中验证了这种方法的有效性，表明我们的方法适用于广泛的科学和技术应用。

Aug, 2023

本研究使用生成对抗网络（GAN）机器学习框架开发了随机参数化模型，通过评价天气和气候时间尺度上的模型运行结果，发现一些 GAN 配置表现更好，能够紧密地再现 Lorenz'96 系统的时空相关性和模式。

Sep, 2019