ICLRJun, 2019

梯度下降最大化同质神经网络的边界

PDF
TL;DR研究了梯度下降算法在同质神经网络中的隐式正则化，重点研究了 optimizing the logistic loss or cross-entropy loss of any homogeneous model，探讨了规范化边缘的平滑版本，形成了一个关于边缘最大化的优化问题，给出了算法的渐进性能， 并讨论了通过训练提高模型鲁棒性的潜在好处。
implicit regularizationgradient descenthomogeneous neural networksnormalized marginrobustness
发现论文，激发创造
  • 两层神经网络的梯度下降：边界最大化和简化偏差

    本文研究了 Leaky ReLU 神经网络的全局最优性，证明了线性可分对称数据上的梯度流算法能够收敛于全局最优的 “max-margin” 解，同时还对梯度下降在训练初期的 “简单度偏向” 现象进行了理论解释。

    Oct, 2021

  • 使用逻辑损失训练的宽两层神经网络的梯度下降的隐含偏见

    分析了具有同质性激活函数的两层神经网络在无限宽的情况下的训练和泛化行为，并表明在存在低维结构的情况下，梯度流的极限可以完全表征为某些函数空间中的最大间隔分类器，并且具有强的泛化边界，在实践中符合两层神经网络的行为，并证明了其隐式偏差的统计优点。

    Feb, 2020

  • 同质和非同质深度模型中的词典和深度敏感边距

    研究深度学习中的复杂度控制，通过研究无穷小正则化或梯度下降优化如何在同质和非同质模型中导致边际最大化解决方案，扩展以前关注同质模型中的无穷小正则化的研究。

    May, 2019

  • 非齐次双层网络的大步长梯度下降法：边界改善与快速优化

    神经网络的大步梯度下降（GD）训练通常包括两个不同的阶段，第一阶段中经验风险震荡，而第二阶段中经验风险单调下降。我们研究了满足近准同质条件的两层网络中的这一现象。我们展示第二阶段开始于经验风险低于特定阈值（依赖于步长）的时刻。此外，我们展示了归一化边界在第二阶段几乎单调增长，证明了 GD 在训练非同质预测器时的内在偏差。如果数据集线性可分且激活函数的导数不为零，我们证明平均经验风险下降，暗示第一阶段必须在有限步骤中停止。最后，我们展示选择合适大步长的 GD 在经历这种阶段过渡时比单调降低风险的 GD 更高效。我们的分析适用于任意宽度的网络，超出了众所周知的神经切线核和平均场范围。

    Jun, 2024

  • 分离数据梯度下降的隐式偏差

    本研究发现，在无正则化的逻辑回归问题、线性可分数据集上，使用均匀线性预测器的梯度下降法会收敛于最大间隔解的方向。收敛速度缓慢，方法适用于其他单调递减的损失函数、多类别问题和某些受限情况下的深层网络训练。此研究还可帮助理解模型的隐式正则化和其他优化方法。

    Oct, 2017

  • 分类边界的分布：所有数据是否平等？

    通过对深度神经网络上梯度下降算法的实证研究发现，通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法，并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界，但其高容量特征并不一致。

    Jul, 2021

  • 深度学习中的方向收敛和对齐

    本文证明了通过梯度流学习方法得到的深层同质网络权重会趋向于收敛，并阐述了相应的研究内容，包括但不限于梯度流、分类损失、边缘最大化、显著图等方面。

    Jun, 2020

  • 对近似正交数据的两层 ReLU 和 Leaky ReLU 网络的梯度下降的隐式偏差

    針對兩層完全連接的 (leaky) ReLU 神經網絡，研究梯度下降的隱含偏差，並證明梯度下降在訓練中會找到收斂於 1 的具有穩定排名的神經網絡，對於 ReLU 激活函數則收斂於一個上界常數，同時所有訓練數據點的標準化邊界漸進地相同。實驗結果對我們的理論結果進行了驗證。

    Oct, 2023

  • 具有平滑 ReLU 激活函数的深度神经网络使用逻辑损失梯度下降插值的时间

    本研究建立了在深度神经网络中应用梯度下降的情况下，驱动逻辑损失为零的条件，并证明了收敛速率的界限。我们的分析适用于 ReLU 的平滑近似，如 Swish 和 Huberized ReLU，并提供两个收敛的充分条件。第一个条件是初始化时对损失的限制，第二个条件是先前分析中使用的数据分离条件。

    Feb, 2021

  • 学习深度同质模型中的算法正则化：层次自动平衡

    证明了通过梯度下降（以及正步长）学习多层同质函数时，该算法的梯度流可以有效地强制不同层之间的平方范数差异保持不变，从而自动平衡所有层的大小，由此可以深入研究利用一阶算法来优化学习深度模型的基本方法。

    Jun, 2018