用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$ 变换对应于训练 - 测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差 - 方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

May, 2024

研究了两层神经网络中过参数化对学生 - 教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。

Mar, 2023

本文研究无法可知函数的学习问题，主要贡献在于使用高斯数据对这种学习问题进行精确的渐近分析。在特征矩阵的温和正则条件下，本文提供了在低参数与高参数模式下渐近的训练和泛化误差的精确刻画。该分析适用于一般的特征矩阵、激活函数和凸损失函数家族。数值结果验证了我们的理论预测，表明我们的渐近发现与所考虑的学习问题的实际表现非常符合，即使在中等维度下也是如此。此外，它们揭示了正则化、损失函数和激活函数在学习中缓解 “双下降现象” 中所发挥的重要作用。

Aug, 2020

本文考虑使用随机特征空间，在测度无限趋近于无限，特征维度和样本量趋近于无穷大的情况下，利用结果回归模型和双下降现象等关键词解释深度学习模型中的奇妙现象。

Aug, 2019

本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明，论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。

Apr, 2019

本篇论文系统地回顾了过去十年中随机特征方面的研究进展，包括算法特点、理论结果、基准测试数据集上的表现、分类预测性能等，并探讨了随机特征与深度神经网络之间的关系，有望成为感兴趣的从业者应用代表性算法和理解理论结果的用户指南，并为这个领域的未来研究方向提供一些启示。

Apr, 2020

我们提出了一种受扩散模型启发的深度随机特征模型，它具有可解释性，并给出了与具有相同可训练参数数量的全连接神经网络相当的数值结果。我们通过对采样数据分布和真实分布之间的得分匹配性质的属性来推导了随机特征的泛化界限，并通过在时尚 MNIST 数据集和乐器音频数据上生成样本来验证我们的发现。

Oct, 2023

证明随机特征学习的一般性定理，表明具有非线性激活函数的随机特征模型在训练和泛化误差方面渐近等效于匹配协方差矩阵的线性高斯模型，其方法基于经典的 Lindeberg 方法，证明的主要内容包括针对与训练过程相关的优化问题的 leave-one-out 分析以及针对弱相关随机变量的中心极限定理，通过 Stein 方法获得。

Sep, 2020

本研究探讨了统计学习框架下随机特征稀疏化岭回归的泛化性质，结果显示仅需 O（根号 n*log n）个随机特征即可实现 O（1 / 根号 n）的学习界限，优于之前的提法；此外我们证明了一系列快速学习速率及其潜在影响，研究证明了及格自适应分配随机特征的可行性，这有助于降低计算复杂度，并保持最优泛化特性。

Feb, 2016

近期的机器学习进展通过使用过参数化的模型训练到接近训练数据的插值来实现。 通过双下降现象的展示，已经证明参数数量是模型复杂性和泛化能力的劣质指标。 这引发了一个问题，即了解参数化对这些模型的性能的影响。 本文以随机特征岭回归（Random Feature Ridge Regression）为例进行调查。

Mar, 2024