Mar, 2022

不仅仅是玩具：随机矩阵模型预测现实世界神经表示如何泛化

PDF
TL;DR研究了机器学习模型泛化的定量现象，发现基于核回归的大规模神经网络和真实数据的核函数理论分析往往无法捕捉到这些现象，然而基于 GCV 估算器的实证研究结果表明该方法可以在这种超参数化的情境下准确预测泛化风险，并证明了 GCV 估算器在满足局部随机矩阵定理时总是可以收敛到泛化风险，最后应用这个随机矩阵理论解释了为什么预训练表示的泛化性更好以及什么因素支配了核回归的放缩定律，该研究揭示了随机矩阵理论对于理解神经表征的性质至关重要。
machine learningoverparameterized modelsgeneralizationgcv estimatorrandom matrix theory
发现论文，激发创造
  • 随机矩阵理论与神经网络的损失曲面

    此篇论文利用随机矩阵理论来理解和描述神经网络的损失曲面及其谱，并应用于现代神经网络的训练方法，为随机矩阵理论在现代神经网络的理论研究中提供了重要的贡献。

    Jun, 2023

  • 高维回归中的缩放和重标定

    用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$ 变换对应于训练 - 测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差 - 方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

    May, 2024

  • 基于现实假设的核回归泛化

    对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。本研究的结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

    Dec, 2023

  • 随机矩阵理论证明深度学习对 GAN 数据的表示行为类似于高斯混合模型

    通过理论和实验证明，深度生成对抗网络产生的数据的 DL 表示是集中随机向量类中的随机向量。同时，Gram 矩阵能够描述 GAN 数据的 DL 表示的前两个统计矩，并可用于多种标准分类器。

    Jan, 2020

  • 神经网络贝叶斯推断中的数据变异理论

    基于无限宽度神经网络的高斯过程，并结合内核和推理方法，构建了一个场论的形式体系，研究了无限宽度网络的泛化性质，并从输入数据的统计性质得到了泛化性质的提取。

    Jul, 2023

  • 神经网络的泛化误差的高维动态

    本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

    Oct, 2017

  • 核回归和宽神经网络的波谱偏差和任务 - 模型一致性解释泛化

    探究基于核回归的可推广性误差，解释了以 “简单函数” 为特征的归纳偏差，并表明更多数据可能会损害推广能力，还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。

    Jun, 2020

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 理解量子机器学习需重新思考常规泛化

    通过系统随机实验，我们展示了目前理解广义学习的传统方法无法解释量子模型的行为，并揭示出量子神经网络具有记忆随机数据的能力。同时，我们展示了量子神经网络可以适应任意标签的量子状态，并且这些结果阐明了量子机器学习中广义学习理解的基本挑战。

    Jun, 2023

  • 通过利用雅可比矩阵的低秩结构实现神经网络的泛化保证

    本文探讨了神经网络架构的泛化能力，发现训练和泛化在整洁和结构化的数据集上很容易，在嘈杂和非结构化的数据集上则更难。通过使用 “信息” 空间和 “噪声” 空间，本文证明了即使是常数宽度的神经网络，对于足够好的数据集也可以证明泛化。

    Jun, 2019