Dec, 2020

ReLU 网络在平方损失下的隐式正则化

PDF
TL;DR针对非线性神经网络的回归损失（如平方损失），研究其隐含正则化（即隐含偏差）的特性，虽然已成为一个活跃的研究领域，但迄今为止仍未得到深入探究。本文通过一些证明，表明甚至对于单个 ReLU 神经元，无法利用原模型参数的任何显式函数来表征隐含正则化特性（尽管我们可以近似表征），对于一层隐藏层的网络而言也存在类似的现象。本研究建议采用比目前更加广泛的框架来理解非线性预测的隐性正则化，并提供了一些线索。
implicit regularizationgradient descentnonlinear neural networkssquare lossrelu neuron
发现论文，激发创造
  • 由 Ornstein-Uhlenbeck 过程驱动的深度神经网络的隐式正则化

    研究采用随机梯度下降法训练的神经网络，通过对每一次迭代的训练标签进行独立噪声扰动，得到一个隐式正则化项，从而驱动网络向简单模型发展，并以矩阵感知、一维数据下的两层 ReLU 网络训练以及单数据点下的两层 sigmoid 激活网络训练等三个简单场景进行了阐述。

    Apr, 2019

  • 单神经元 ReLU 网络的支持向量和梯度动态

    通过研究单神经元 ReLU 网络的梯度流动力学，发现了支持向量的隐式偏差，这在解释 ReLU 网络为何具有良好的泛化能力中起着关键作用；此外，证明了对于二维情况下单个神经元的全局收敛性，并分析了在梯度流的条件下学习权重范数的严格增长。

    Feb, 2022

  • 超参数化神经网络中的隐式正则化

    本文通过引入梯度间隙偏差和梯度偏转等统计量，从理论和实证角度研究了内隐正则化在 ReLU 神经网络中的运作方式，结果表明通过随机初始化和随机梯度下降的方式有效地控制网络输出，使其在样本之间直线插值且负责度较低。

    Mar, 2019

  • 对近似正交数据的两层 ReLU 和 Leaky ReLU 网络的梯度下降的隐式偏差

    針對兩層完全連接的 (leaky) ReLU 神經網絡，研究梯度下降的隱含偏差，並證明梯度下降在訓練中會找到收斂於 1 的具有穩定排名的神經網絡，對於 ReLU 激活函數則收斂於一個上界常數，同時所有訓練數據點的標準化邊界漸進地相同。實驗結果對我們的理論結果進行了驗證。

    Oct, 2023

  • 解析训练二层 ReLU 网络

    本文研究两层神经网络的 ReLU 激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和 Adam 优化器更快、更准确地求解深度值，并且该方法没有调参困扰。

    Apr, 2023

  • 线性神经网络中离散梯度动态的隐式正则化

    本文研究了过参数化模型的离散梯度动态，并证明在使用适当超参数和初始化条件时，该动态可以学习降低秩的回归问题的解。

    Apr, 2019

  • 深度 ReLU 隐式网络的全局收敛理论：基于过度参数化

    本文分析了 ReLU 激活的隐式神经网络的梯度流，证明了如果隐式神经网络是超参数化的，那么一个随机初始化的梯度下降法可以以线性速率收敛到全局最小值，这一结果与有限层参数超过的神经网络的收敛结果不同，因为本文的结论适用于无限层的神经网络。

    Oct, 2021

  • 组稀疏的隐式正则化

    通过一种新的神经再参数化方法，即对角线分组线性神经网络，研究了梯度下降对结构稀疏性的隐式正则化。与现有方法相比，我们的方法证明了最小化正则化和模拟下降无法模拟我们的训练轨迹，并在一般噪声设置中分析了相应的回归问题的梯度动态和最小极小误差率。

    Jan, 2023

  • 通过权重归一化实现强大的隐式正则化

    本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

    May, 2023

  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022