神经网络模型中的传统自我正则化和重尾自我正则化

Jan, 2019

神经网络模型中的传统自我正则化和重尾自我正则化

Traditional and Heavy-Tailed Self Regularization in Neural Network Models

Charles H. Martin, Michael W. Mahoney

TL;DR本研究运用随机矩阵理论分析了深度神经网络的权重矩阵，通过实验和理论结果表明神经网络层矩阵的经验谱密度显示出传统正则化统计模型的特征。并且发现随着训练阶段的增加，隐式自正则化逐渐显现，这种隐式自正则化可以像传统的 Tikhonov 正则化一样，但也可以是重尾分布的，类似于无序系统的自组织现象，并存在着一个通用性的现象。

Abstract

random matrix theory (RMT) is applied to analyze the weight matrices of Deep Neural Networks (DNNs), including both production quality, pre-trained models such as AlexNet and Inception, and smaller models trained from scratch, such as LeNet5 and a miniature-AlexNet. Empirical and theor

random matrix theory deep neural networks empirical spectral density implicit self-regularization generalization gap phenomena

发现论文，激发创造

深度神经网络中的隐式自正则化：来自随机矩阵理论的证据和对学习的影响

利用随机矩阵理论分析深度神经网络的权重矩阵，并得出神经网络的训练过程本身隐式实现了自我正则化的结论，通过改变批次大小和利用泛化间隙现象，证明了大批次训练导致模型隐含正则化不佳并解释了泛化间隙现象。

Oct, 2018

深度神经网络中权重矩阵的重尾正则化

通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。

Apr, 2023

利用随机矩阵理论提高深度学习的准确性

通过利用随机矩阵理论来进行深度神经网络的层剪枝，我们可以实现神经网络结构和误差曲面的简化。通过奇异值分解（SVD），我们优化地确定了在训练过程中应该从神经网络的权重层中移除的奇异值个数，从而提高了神经网络的简化和精度，并在 MNIST 和 Fashion MNIST 数据集上验证了这一方法的有效性。

Oct, 2023

重尾普遍性预测大型预训练深度神经网络的测试准确性趋势

通过构建通用容量控制度量，该度量基于重尾自正则化（HT-SR）理论，发现现代深度神经网络的层权矩阵中的相关性可调整为和重尾随机矩阵理论相同的普适类别。实验表明，该度量与测试准确性相关良好。

Jan, 2019

深度神经网络的扩展临界区

利用长尾随机矩阵与非平衡统计力学理论，提出了 DNN 的新型平均场理论，并发现重尾权重使得 DNN 出现了一个拓展的临界区，体现了丰富的跨层传播动力学，进而赋予 DNN 突出的计算优势，这为设计高效神经网络结构提供了理论指导。

Mar, 2022

复杂数据集的基础缩放规律和普适性统计结构

本文使用统计物理学和随机矩阵理论，探究出现在真实和人造数据集中的普遍特征，发现特征 - 特征协方差矩阵的本地和全局特征值在数据规模方面存在着重要差异，而 Shannon 熵则与局部 RMT 结构和特征值尺度有关，并且与强相关数据集相比于无相关性的人造数据集要小很多。

Jun, 2023

深度异方差回归病理的理解

本文从统计物理的角度研究了使用异方差神经回归模型对实际数据建模时遇到的困难，并且通过推导出的非参数自由能得出结论，证明了二阶段变化的存在，本文提供了异方差回归模型的理论解释，并提出一种优化正则化的方案。

Jun, 2023

随机矩阵理论与神经网络的损失曲面

此篇论文利用随机矩阵理论来理解和描述神经网络的损失曲面及其谱，并应用于现代神经网络的训练方法，为随机矩阵理论在现代神经网络的理论研究中提供了重要的贡献。

Jun, 2023

高维回归中的缩放和重标定

用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$ 变换对应于训练 - 测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差 - 方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

May, 2024

在没有梯度噪声的权重矩阵谱中制造重尾

通过分析深度神经网络的重尾谱、梯度噪声和学习率等因素，我们揭示了深度神经网络在有限的训练步骤后可以生成重尾谱的机制，并研究了重尾谱与泛化能力之间的相关性。

Jun, 2024