Feb, 2020

表示学习的自由能原理

PDF
TL;DR本论文采用机器学习与热力学的形式联系，表征学到的表示在迁移学习中的质量；我们讨论了模型信息论函数，如速率、失真和分类损失如何位于凸平衡面上。我们提出了遵守约束的动态过程，例如，一种等分类过程，它在平衡面上进行速率和失真的交换以保持分类损失不变。我们演示了如何在保持分类损失不变的情况下，将表示从源数据集转移到目标数据集。最后，在标准图像分类数据集上提供了理论结果的实验验证。
machine learningthermodynamicstransfer learninginformation theoryimage classification
发现论文，激发创造
  • TherML: 机器学习的热力学

    本研究提供了一个框架，可以推理出机器学习中广泛类别的目标。我们建立了一种形式化的对应关系，讨论了其与热力学之间的关系及其意义。

    Jul, 2018

  • 应用非平衡热力学的深度无监督学习

    本文提出使用煞费苦心、模拟非平衡统计力学的方法，通过迭代向前的扩散过程来系统性地破坏数据分布中的结构，并学习一个可以还原数据结构的逆向扩散过程，从而快速学习、采样、评估深度生成模型中的概率。

    Mar, 2015

  • 结构保持神经网络

    利用前馈神经网络和热力学第一和第二定律，通过从数据中学习物理系统的方法，以及使用所谓的非平衡可逆耦合通用方程 (GENERIC) 的度规辛结构，可以最小化地使用数据。该方法不需要强制任何平衡方程式，因此不需要关于系统性质的任何先前知识。能量守恒和熵耗散是该方法结构的自然副产品。展示了该方法的性能示例，包括守恒和耗散系统以及离散和连续系统。

    Apr, 2020

  • 机器学习系统的温度

    开发了一种热力学理论用于机器学习系统，与物理热力学系统相似的是，机器学习系统也具有能量和熵的特征。我们引入了温度的概念，并建立了一个基本的热力学框架来处理具有非 Boltzmann 分布的机器学习系统。我们将机器学习系统看作具有不同状态的系统，并将模型训练和更新解释为状态相变的过程。我们将机器学习系统的初始潜在能量描述为模型的损失函数，并遵循最小潜在能量原则。我们推导了系统在相变过程中的温度，突出温度作为系统数据分布和机器学习训练复杂性的重要指标。此外，我们将深度神经网络视为具有全局温度和每层局部温度的复杂热能引擎，并介绍了神经网络的工作效率概念，主要取决于神经激活函数。然后，我们根据工作效率对神经网络进行分类，并将神经网络描述为两种类型的热能引擎。

    Apr, 2024

  • 软委员会机器的统计物理学和实践培训

    通过 replica formalism，研究了具有可微激活函数和单个线性输出单元的大型分层神经网络的平衡状态。在学习完全匹配复杂度规则的非常多的隐藏单元的学生网络的基础上，计算了定量的冻结自由能，发现系统在训练集的临界大小下从不专业化到专业化的学生配置的一级相变。通过固定的训练集进行随机梯度下降的计算机模拟表明，平衡结果在实际训练过程中的平台状态中得到了定量描述。

    Dec, 1998

  • 表征学习的量子场论

    通过将对称性破缺的场论应用于损失函数存在连续对称性而被随机初始化破缺的机器学习模型中，我们展示了在时间序列模型中的 “带电” 嵌入矢量的规范理论，利用超导和对称性破缺在时间表示学习中之间的相似性，使得损失函数规范不变可以加速模型收敛。

    Jul, 2019

  • 学习基于能量的量子多体态表示

    论文提出了一种新的基于能量的生成量子多体状态表示方法，该方法可以在保留系统已知对称性与结构的情况下，使用一个小数量的参数进行学习，并且可以用于预测物理观测量的期望值

    Apr, 2023

  • 自由能原理的神经网络实现

    本文是关于自由能原理的计算模型和机器学习中的应用尝试，提出了使用经典的神经网络模型 Helmholtz 机连接自由能原理和机器学习，并通过实验验证了假设。

    Jun, 2023

  • 通过势能视角探索模型的可迁移性

    通过模拟基于力学的物理模型，对模型的选择进行重新定义，并通过捕捉动态表示的运动来评估可迁移性，从而增强传统的模型评估方法并提高性能。

    Aug, 2023

  • 机器学习中的熵

    本论文将计算二进制配置 / 信号熵的问题转换为一系列有监督的分类任务，使用机器学习分类算法计算熵，并直接从给定温度下的一组蒙特卡洛配置计算自由能，进而重现了 2D 伊辛模型的熵和自由能，并可以应用于计算尖峰神经元或任何其他多维二进制信号熵。

    Sep, 2019