预测的热力学
利用前馈神经网络和热力学第一和第二定律,通过从数据中学习物理系统的方法,以及使用所谓的非平衡可逆耦合通用方程 (GENERIC) 的度规辛结构,可以最小化地使用数据。该方法不需要强制任何平衡方程式,因此不需要关于系统性质的任何先前知识。能量守恒和熵耗散是该方法结构的自然副产品。展示了该方法的性能示例,包括守恒和耗散系统以及离散和连续系统。
Apr, 2020
随机热力学是将经典热力学的概念(如功、热以及熵的产生)扩展到非平衡集合的个体轨迹的框架,主要应用于单胶体颗粒、聚合物、酶和分子电机、小型生化网络以及热电器件等系统中,各种波动定理限制着功、热和熵产生的概率分布,并可以通过一个主定理来规定。
May, 2012
本文通过 Landauer 原理将热力学与信息学相互关联,从而提出信息保存作为热力学的基本原则,建立了温度无关的热力学基础理论,并通过该理论研究了量子引擎最大效率和状态转换等问题。
May, 2018
我们通过建立与热力学变量的联系,将生成式机器学习问题形式化为参数概率模型(PPM)的时间演化,研究了模型参数(θ)和生成样本(X)之间的热力学交换。我们发现模型通过样本生成过程中的热量耗散来学习,导致模型参数熵增加,进而作为热库保存学到的信息。此方法提供了一个计算神经网络内信息论量的明确框架,并引入了两个信息论度量指标:记忆化信息(M-info)和学习化信息(L-info),用于追踪 PPM 学习过程中的信息动态流动。
Oct, 2023
该论文提出了一个信息论的有界理性决策模型,其中决策者在预期效用和信息处理成本之间进行权衡,被视为物理状态发生变化时的热力学机器,行为受制于自由能泛函。当忽略计算成本时,该模型还原为最大化预期效用原则。
Apr, 2012
研究智能系统以经济合理性解释其行为,其中包括涉及函数或效用的优化原则,最近这一理论已将约束纳入进来,即在满足某些信息处理约束的同时最大化效用。研究智能系统已从热力学工具中受益,本篇论文的目标是澄清这些结果在研究智能系统中的适用性,并改善对排序结构的分类和对能够允许这样的框架的要求的理解。
Jun, 2024
开发了一种热力学理论用于机器学习系统,与物理热力学系统相似的是,机器学习系统也具有能量和熵的特征。我们引入了温度的概念,并建立了一个基本的热力学框架来处理具有非 Boltzmann 分布的机器学习系统。我们将机器学习系统看作具有不同状态的系统,并将模型训练和更新解释为状态相变的过程。我们将机器学习系统的初始潜在能量描述为模型的损失函数,并遵循最小潜在能量原则。我们推导了系统在相变过程中的温度,突出温度作为系统数据分布和机器学习训练复杂性的重要指标。此外,我们将深度神经网络视为具有全局温度和每层局部温度的复杂热能引擎,并介绍了神经网络的工作效率概念,主要取决于神经激活函数。然后,我们根据工作效率对神经网络进行分类,并将神经网络描述为两种类型的热能引擎。
Apr, 2024
在物理系统中信息处理的成本需要在性能和能量消耗之间做出平衡。我们在介观系统中制定和研究了计算 - 耗散瓶颈,并使用实验和人工合成任务展示了非平衡如何促进性能。我们的框架揭示了信息压缩、输入 - 输出计算和非可逆相互作用引起的动态不可逆性之间的重要权衡。
Jul, 2023