Mar, 2015

应用非平衡热力学的深度无监督学习

PDF
TL;DR本文提出使用煞费苦心、模拟非平衡统计力学的方法，通过迭代向前的扩散过程来系统性地破坏数据分布中的结构，并学习一个可以还原数据结构的逆向扩散过程，从而快速学习、采样、评估深度生成模型中的概率。
machine learningprobability distributionsdeep generative modelsreverse diffusion processopen source
发现论文，激发创造
  • 生成型扩散模型的非平衡物理学

    透明物理分析推导了扩散模型中的涨落定理、熵产生、Franz-Parisi 势函数，从非平衡物理的角度理解了最近发现的内在相变现象，该统一原理预计将引导机器学习从业者设计更好的算法，也将把机器学习与非平衡热力学联系起来。

    May, 2024

  • 结构保持神经网络

    利用前馈神经网络和热力学第一和第二定律，通过从数据中学习物理系统的方法，以及使用所谓的非平衡可逆耦合通用方程 (GENERIC) 的度规辛结构，可以最小化地使用数据。该方法不需要强制任何平衡方程式，因此不需要关于系统性质的任何先前知识。能量守恒和熵耗散是该方法结构的自然副产品。展示了该方法的性能示例，包括守恒和耗散系统以及离散和连续系统。

    Apr, 2020

  • 利用深度学习构建定制热力学

    基于基本的物理原理，特别重要的是对复杂动态系统进行宏观动力学建模，通过学习化简的热力学坐标和在这些坐标上解释动力学来实现。我们通过在聚合物拉伸和空间流行病的研究中验证了这种方法的有效性，表明我们的方法适用于广泛的科学和技术应用。

    Aug, 2023

  • 生成扩散模型的统计热力学

    通过研究发现，生成扩散模型可以用平衡统计力学的工具进行理解，并且这些模型经历了与对称性破缺现象相对应的二阶相变。作者还探讨了最近有关扩散模型与联想记忆网络的研究，并从热力学的角度进行了论述。

    Oct, 2023

  • 主动物质中的深度学习概率流和熵产生速率

    利用生成模型构建了一个深度学习框架，可以估计活性物质系统中的熵产生速率和概率流量，并将其分解为个体粒子、空间区域和自由度的本地贡献。通过将该方法应用于基于运动引起的相分离的活性粒子的高维系统，验证了该方法的广泛应用性和可扩展性。

    Sep, 2023

  • Boltzmann 生成器 -- 利用深度学习采样多体系统的平衡态

    利用深度学习和统计力学，我们开发了 Boltzmann Generators，它们能够生成代表性的凝聚态物质系统和蛋白质的无偏一次平衡样品。

    Dec, 2018

  • 表示学习的自由能原理

    本论文采用机器学习与热力学的形式联系，表征学到的表示在迁移学习中的质量；我们讨论了模型信息论函数，如速率、失真和分类损失如何位于凸平衡面上。我们提出了遵守约束的动态过程，例如，一种等分类过程，它在平衡面上进行速率和失真的交换以保持分类损失不变。我们演示了如何在保持分类损失不变的情况下，将表示从源数据集转移到目标数据集。最后，在标准图像分类数据集上提供了理论结果的实验验证。

    Feb, 2020

  • 机器学习的平衡状态内外

    本研究探索了神经网络训练算法与自然过程如蛋白质折叠和进化之间的相似性，使用统计物理中 Fokker-Planck 方法将它们在一个统一的框架下探索，研究了在长时间极限下系统的稳态和出现的熵产生率，验证了涉及到这些数值的图谱存在扰动定理，提出了一种新的随机梯度 Langevin 动力学（SGLD）算法，可以应用于贝叶斯机器学习中从后验分布中获取网络权重。

    Jun, 2023

  • 快速和功能性的结构化数据生成器基于非平衡物理学

    本研究提出了一种新的训练算法，利用非平衡效应来提高受限玻尔兹曼机的能力，并成功地应用于四种不同类型的数据以产生高质量的合成数据。

    Jul, 2023

  • 软委员会机器的统计物理学和实践培训

    通过 replica formalism，研究了具有可微激活函数和单个线性输出单元的大型分层神经网络的平衡状态。在学习完全匹配复杂度规则的非常多的隐藏单元的学生网络的基础上，计算了定量的冻结自由能，发现系统在训练集的临界大小下从不专业化到专业化的学生配置的一级相变。通过固定的训练集进行随机梯度下降的计算机模拟表明，平衡结果在实际训练过程中的平台状态中得到了定量描述。

    Dec, 1998