非平衡物理:从自旋玻璃到机器和神经学习
通过训练线性物理网络学习线性变换,我们发现它们的物理特性如何随着权重更新规则的变化而演化。我们的研究结果突出了这些网络的学习行为与无序和玻璃系统中的衰老和记忆形成过程之间的惊人相似性。我们展示了学习动力学类似于一种衰老过程,在输入力的作用下,系统通过反馈边界力的重复应用而松弛,从而编码输入输出关系的记忆。随着这种松弛,相关长度增加,这可以通过网络组件的两点相关函数来表示。我们还观察到,随着纪元的推移,均方误差的平方根采取非指数形式,这是玻璃系统的典型特征。这种物理解释表明,通过将更详细的信息编码为输入和反馈边界力,新兴学习可以是非常普遍的,因此可以作为生物系统中学习的非常早期的物理机制,从进化的角度来看。
Sep, 2023
通过数据驱动算法和高性能计算,我们构建了一个基于时空光锥的框架,用于实现新现象的自组织,并且本文指出局部因果状态可以在复杂的时空系统中捕捉有序行为和一致结构。在二维湍流方面,我们证明了局部因果状态捕捉了涡旋及其幂律衰减行为,而在应用方面,我们演示了局部因果状态可用于识别已知(飓风和大气河流)和新的极端天气事件,并且可以通过高分辨率气候数据进行时间跟踪。
Apr, 2023
这篇论文介绍了在统计物理学、计算机科学和神经生物学交叉领域中涌现的模型统计方法,如关联复制和空腔方法,信息传递的概念和其在神经计算和学习中的应用,以期提供更好的理论和技术支持解决神经网络中的复杂计算问题。
Jan, 2013
该研究讨论了利用人工神经网络编码量子多体波函数的方法,有效地模拟了二维空间中的量子物质的无平衡实时演化,并应用到横向场伊辛模型上,验证了该方法的准确性和可行性。
Dec, 2019
本文研究了非平衡态下存在的集体系统,详细探讨了个体材料组分内部能量以及小扰动对整个系统流变性质的全球影响,利用模拟推断方法依据少量图像数据提取了集体系统参数的可行性,着重强调了复杂集体系统内部的结构关系是生成模型和数据更精确匹配的重要因素。
Apr, 2023
通过 replica formalism,研究了具有可微激活函数和单个线性输出单元的大型分层神经网络的平衡状态。在学习完全匹配复杂度规则的非常多的隐藏单元的学生网络的基础上,计算了定量的冻结自由能,发现系统在训练集的临界大小下从不专业化到专业化的学生配置的一级相变。通过固定的训练集进行随机梯度下降的计算机模拟表明,平衡结果在实际训练过程中的平台状态中得到了定量描述。
Dec, 1998
研究智能系统以经济合理性解释其行为,其中包括涉及函数或效用的优化原则,最近这一理论已将约束纳入进来,即在满足某些信息处理约束的同时最大化效用。研究智能系统已从热力学工具中受益,本篇论文的目标是澄清这些结果在研究智能系统中的适用性,并改善对排序结构的分类和对能够允许这样的框架的要求的理解。
Jun, 2024
本文提出了一种基于非线性动力学的学习系统,能够通过正反馈循环定义模式,并从时间序列数据中学习层次结构,这个系统在七个实验和两个现实问题中准确度足以超过现有非监督学习算法,同时展示了自组织是如何实现模式识别与简单的动力学方程中出现智能行为的潜力。
Feb, 2023
在物理系统中信息处理的成本需要在性能和能量消耗之间做出平衡。我们在介观系统中制定和研究了计算 - 耗散瓶颈,并使用实验和人工合成任务展示了非平衡如何促进性能。我们的框架揭示了信息压缩、输入 - 输出计算和非可逆相互作用引起的动态不可逆性之间的重要权衡。
Jul, 2023