神经网络与重整化群流的尺度不变特征提取
使用 Restricted Boltzmann Machines(RBM)进行深度学习,研究了量子场论和统计物理中的重整化群(RG)与无监督深度学习之间的联系,并通过 1D 和 2D Ising 模型的研究验证了这种联系。
Aug, 2023
本文介绍了一种变分重整化群方法,使用基于归一化流的深度生成模型。该模型通过变量变换从物理空间到潜在空间进行分级,从而生成近似相互独立的潜在变量,同时具有精确和可处理的似然度。本研究展示了该方法在 Ising 模型中的互相独立的集体变量识别和混合蒙特卡罗抽样的实际应用,并讨论了该方法与重整化群的小波分析和信息保存 RG 的联系。
Feb, 2018
利用人工神经网络和信息理论模型的非模型化特点,实现不需要系统的先验知识,识别重要的物理自由度,并演示自然系统中的重要且普遍存在的学习算法。通过对经典统计物理的问题在一维和二维的应用,演示了 RG 流和提取的 Ising 临界指数。说明了机器学习可以提取抽象的物理概念,并成为理论建模的一个重要组成部分。
Apr, 2017
通过在高斯过程回归的背景下,系统地积掉不可学习的高斯过程核的模式,实现了威尔逊 RG 在实践上的方法,其中数据扮演能量尺度的角色,研究这样的流可以改善我们对深度神经网络中特征学习的理解,识别出这些模型中的潜在普适类。
May, 2024
本文研究深度学习的理论基础,发现其与理论物理中的重整化群技术密切相关,提供了一种新的理解思路,解释了深度学习技术在数据特征学习和压缩方面的成功,同时探究抽取相关特征的机制和算法。
Oct, 2014
通过将神经网络架构映射到统计场理论空间,构建了神经网络场论对应(NNFT);利用信息论粗粒化方案(BRG)与粒子物理准确重整化群(ERG)的原则,形成了一个探索神经网络和统计场理论空间的强大新框架,称为 BRG-NNFT;通过 BRG-NNFT,可以将神经网络训练动力学解释为从信息论上的 “红外” 到 “紫外” 的 SFT 空间中的流动。
May, 2024
本文比较分析了重整化群方法与深度机器学习方法的相似之处,讨论了多尺度纠缠重整化算法在生成式分层贝叶斯网络中的应用,并证明了该算法仅涉及概率的明确评估,消除了采样的需要。
Jan, 2013
深度神经网络经过一系列几何和拓扑简化来进行分类任务,而这与 Hamilton 的 Ricci 流在微分几何中平滑曲率以识别拓扑结构的过程存在对应关系。通过构建一个计算框架来量化数据通过 DNN 的不同层时发生的几何变化,我们展示了全局 Ricci 网络流与 DNN 的准确性相关,并且对深度和宽度无关,也适用于不同的数据集。这些发现推动了将微分几何和离散几何工具应用于深度学习解释性问题。
Apr, 2024
该论文提出了一种新的方法,即将重整化群理论应用于设计一种新颖的图重连策略,以提高图神经网络在图形相关任务上的性能,结果表明这种方法的有效性和其挖掘各种系统固有复杂性潜力的能力。
Jun, 2023
本文从网络科学的角度,提出了一种基于小世界和无标度网络拓扑结构的约束 Restricted Boltzmann Machines 模型,它能够大大减少权重数量,提高生成能力,而不增加计算成本。
Apr, 2016