用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$ 变换对应于训练 - 测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差 - 方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

May, 2024

本文回顾了多元统计分析和随机矩阵理论之间的联系，着重探讨随机矩阵理论在数据集合分析中的应用。

Nov, 2006

该论文回顾了最近利用随机矩阵理论（RMT）工具估计大协方差矩阵的结果，介绍了几种 RMT 方法和分析技术，如复制品形式和免费概率等，并强调了 Marchenko-Pastur 方程，它提供了有关成倍污染的嘈杂矩阵的解的信息，特别关注经验相关矩阵的特征向量的统计学，说明这些结果特别适用于当没有先验关于基础过程结构的情况下构建大协方差矩阵的一致的 “旋转不变” 估算器（RIE），最后将一些真实世界的应用作为典型案例，确立 RIE 框架的实证效力，在这种情况下，发现其优于以前提出的所有方法。

Oct, 2016

本研究运用随机矩阵理论分析了深度神经网络的权重矩阵，通过实验和理论结果表明神经网络层矩阵的经验谱密度显示出传统正则化统计模型的特征。并且发现随着训练阶段的增加，隐式自正则化逐渐显现，这种隐式自正则化可以像传统的 Tikhonov 正则化一样，但也可以是重尾分布的，类似于无序系统的自组织现象，并存在着一个通用性的现象。

Jan, 2019

本文研究使用自我监督学习方法，在没有标签数据的情况下学习视觉表示，通过计算特征协方差矩阵的本征谱估计幂律系数，发现幂律系数与表示学习的性能和鲁棒性密切相关。

Feb, 2022

通过时间序列获得的自相关矩阵的特殊结构，以及基于逆 Abel 变换等方法获得其精确的特征值密度。研究发现，标准的高斯误差预测无法解释通过实际高频数据计算出的特征值密度的非随机模式，如 Imaginary 部分的不对称依赖性和市场影响下的股票聚类现象。

Sep, 2006

利用随机矩阵理论分析深度神经网络的权重矩阵，并得出神经网络的训练过程本身隐式实现了自我正则化的结论，通过改变批次大小和利用泛化间隙现象，证明了大批次训练导致模型隐含正则化不佳并解释了泛化间隙现象。

Oct, 2018

通过利用随机矩阵理论来进行深度神经网络的层剪枝，我们可以实现神经网络结构和误差曲面的简化。通过奇异值分解（SVD），我们优化地确定了在训练过程中应该从神经网络的权重层中移除的奇异值个数，从而提高了神经网络的简化和精度，并在 MNIST 和 Fashion MNIST 数据集上验证了这一方法的有效性。

Oct, 2023

证明随机特征学习的一般性定理，表明具有非线性激活函数的随机特征模型在训练和泛化误差方面渐近等效于匹配协方差矩阵的线性高斯模型，其方法基于经典的 Lindeberg 方法，证明的主要内容包括针对与训练过程相关的优化问题的 leave-one-out 分析以及针对弱相关随机变量的中心极限定理，通过 Stein 方法获得。

Sep, 2020

本研究通过基于高维 Kac-Rice 公式的一般公式及其与随机矩阵理论技术的结合，分析了零温度单步复制对称破缺玻璃转变的能量景观的随机性，提取了高斯场的平均稳定点和极小值以及一个弧形限制中的稳定高斯随机场的数量，并详细阐述了在两个模型中，玻璃转变的零温度附近出现 “拓扑平凡化” 的现象，以及 GOE “边缘缩放” 谱区和 GOE 矩阵的最大特征值的 Tracy-Widom 分布对于提供 “拓扑平凡化” 场景的普适特征的精确量化描述的重要作用。

Jul, 2013