ICLRJan, 2020

通过参数的 GSNR 解析神经网络良好泛化的原因

PDF
TL;DR本文利用深度神经网络的斜率噪声比率（GSNR）提出了新的模型参数研究视角，建立了模型参数的 GSNR 和泛化差距之间的定量关系，并展示了相对于浅层模型，DNNs 的梯度下降优化动态自然产生大 GSNR，这可能是 DNNs 出色的泛化能力的关键。
发现论文，激发创造
  • 基于参数的梯度信噪比引导的域泛化

    本文提出了一种基于梯度信噪比的参数选择方法，以解决深度神经网络在源域过拟合的问题，并通过元学习方法减轻了搜索最佳 dropout 比率的负担。评估结果表明，在标准域泛化基准测试中，我们取得了分类和人脸防伪问题方面的竞争性结果。

    Oct, 2023

  • 通过梯度信噪比（GSNR）加速大批量训练

    基于梯度信噪比的方差缩减梯度下降技术对大批量任务进行了快速训练动态的理论分析和泛化分析，证明了其加速训练、缩小泛化差距和提高最终精度的效果。

    Sep, 2023

  • 关于深高斯过程变分推断中信噪比问题的研究

    通过理论分析和大量实验证明，在 Deep Gaussian Processes (DGPs) 使用加权变分推断训练的梯度估计中，信噪比问题是普遍存在的。本文提出的基于双重重参数化的梯度估计方法解决了这个问题，提高了 DGPs 模型的预测性能。

    Nov, 2020

  • GSNs：生成随机网络

    提出了一种新的基于马尔科夫链的生成随机网络（GSN）框架作为概率模型的训练原则，并通过具有反向传播的梯度来学习该链的转移算子，该理论提供了关于依赖网络和广义伪似然的有趣解释，试验结果验证了该理论在两个图像数据集中的有效性，并且在训练时不需要层次预训练。

    Mar, 2015

  • 信噪比对应用于海洋生物声学数据的生成对抗网络的影响

    探讨信噪比对音频生成对抗网络（GAN）性能的影响，以及针对 GAN 性能的三种不同评估方法，得出关于信噪比对 GAN 和 WaveGAN 的影响的有趣结果。

    Dec, 2023

  • 广泛和深度神经网络的随机梯度下降的泛化界限

    研究深度神经网络的训练和泛化，在过度参数化的条件下，通过神经切向随机特征模型 (NTRF) 来限制泛化误差，并建立了神经切向内核 (NTK) 的联系。

    May, 2019

  • 随机梯度噪声的非高斯性

    本文研究了神经网络训练中随机梯度噪声向量的分布，发现对于批量大小为 256 或以上的数据集和架构选择，分布最好可以用高斯分布来描述，解释了随机梯度下降在神经网络训练中比梯度下降更具普适性的原因。

    Oct, 2019

  • 多层神经网络梯度下降的泛化保证

    对梯度下降训练的神经网络的稳定性和泛化性进行研究，探讨不同网络缩放参数的影响，发现在稳定性和超参数化方面的一些新的规律，并证明了过度参数化的神经网络可以达到所需的风险水平。

    May, 2023

  • 重新思考 DNN 的泛化、记忆和谱偏差之间的关系

    研究表明，深度神经网络的学习偏差会在训练的后期阶段出现第二次下降，其高频分量也会因此减少，导致测试误差的第二次下降，而网络的频谱可以用于指示测试误差的第二次下降。

    Apr, 2020

  • 神经网络的泛化误差的高维动态

    本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

    Oct, 2017