Apr, 2023

深度神经网络中权重矩阵的重尾正则化

PDF
TL;DR通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。
deep neural networksrandom matrix theoryregularizationspectral analysisgeneralization performance
发现论文，激发创造
  • 神经网络模型中的传统自我正则化和重尾自我正则化

    本研究运用随机矩阵理论分析了深度神经网络的权重矩阵，通过实验和理论结果表明神经网络层矩阵的经验谱密度显示出传统正则化统计模型的特征。并且发现随着训练阶段的增加，隐式自正则化逐渐显现，这种隐式自正则化可以像传统的 Tikhonov 正则化一样，但也可以是重尾分布的，类似于无序系统的自组织现象，并存在着一个通用性的现象。

    Jan, 2019

  • 在没有梯度噪声的权重矩阵谱中制造重尾

    通过分析深度神经网络的重尾谱、梯度噪声和学习率等因素，我们揭示了深度神经网络在有限的训练步骤后可以生成重尾谱的机制，并研究了重尾谱与泛化能力之间的相关性。

    Jun, 2024

  • 深度神经网络中的隐式自正则化：来自随机矩阵理论的证据和对学习的影响

    利用随机矩阵理论分析深度神经网络的权重矩阵，并得出神经网络的训练过程本身隐式实现了自我正则化的结论，通过改变批次大小和利用泛化间隙现象，证明了大批次训练导致模型隐含正则化不佳并解释了泛化间隙现象。

    Oct, 2018

  • 深度神经网络的后验和变分推断与重尾权重

    我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

    Jun, 2024

  • 随机梯度下降中的重尾现象

    本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。

    Jun, 2020

  • 重尾普遍性预测大型预训练深度神经网络的测试准确性趋势

    通过构建通用容量控制度量，该度量基于重尾自正则化（HT-SR）理论，发现现代深度神经网络的层权矩阵中的相关性可调整为和重尾随机矩阵理论相同的普适类别。实验表明，该度量与测试准确性相关良好。

    Jan, 2019

  • 光谱正则化：序列建模的归纳偏置

    本文介绍了一种基于 Chomsky 层次的直观简洁性概念，利用 Hankel 矩阵的跟踪范数作为频谱正则化器的高级模型，并提出了一种偏袒随机估计器以应对 Hankel 矩阵是双无限的事实，最终证明了频谱正则化在 Tomita 语法上的潜在优势以及提议的随机估计器的有效性。

    Nov, 2022

  • 通过群谱正则化改进长尾数据的 GAN

    本文旨在探讨如何解决长尾分布下的影像生成问题，在对类别分布不均衡的尾部类别生成图像时，提出了一种基于条件生成对抗网络和组谱正则化（gSR）的解决方法，并得到了实验验证。

    Aug, 2022

  • 概率编程的重尾代数

    该研究提出了一种系统性的方法来分析随机变量的尾部，建立了一个基于广义 Gamma 分布的代数，该代数能够在各种操作下区分不同尺度的亚高斯函数，可以直接从定义中重现大部分重要的统计分布，并通过利用重尾代数的推理算法，实现了在多个密度建模及变分推理任务上实现了卓越的性能。

    Jun, 2023

  • 一种可扩展的 Walsh-Hadamard 正则化器，以克服神经网络的低阶谱偏倚

    研究神经网络中的频谱偏差问题，提出一种新的可扩展的函数正则化方案，以帮助神经网络学习更高阶的频率，并对四个不同的数据集进行了广泛的评估，显示相对于标准神经网络和其他基线方法显著提高了推广性。

    May, 2023