Jun, 2021

随机梯度下降中的重尾以及过度参数化神经网络的可压缩性

PDF
TL;DR本研究揭示了训练算法的动态特性在实现神经网络压缩方案上起着关键作用，通过将压缩性与随机梯度下降的近期性质联系起来，本文证明了当神经网络遵循一定条件时，网络参数具有稀疏性，并且压缩误差可以任意减小，同时可证明良好的压缩性可降低泛化误差，该理论得到了各种神经网络的数值实验验证。
发现论文，激发创造
  • 重尾 SGD 训练的超参数神经网络的隐式可压缩性

    本研究提出了一种基于随机梯度下降和添加重尾噪声的简单修改方法，使算法输出可压缩。研究表明通过增加隐藏层减小过拟合，该方法在训练和测试误差上拥有更高的压缩性。

    Jun, 2023

  • 随机梯度下降中的重尾现象

    本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。

    Jun, 2020

  • 在分布式学习中管理重尾梯度的改进量化策略

    我们提出了一种专门针对重尾梯度进行压缩的新方案，该方案将梯度截断和量化有效地结合在一起，并在通信受限的分布式随机梯度下降框架中进行了巧妙实现，我们通过理论分析和与其他基准的比较实验证明了该方法在管理分布式学习环境中的重尾梯度方面的有效性。

    Feb, 2024

  • 均值随机梯度下降中的重尾出现

    通过对连续扩散逼近的随机梯度下降进行分析，我们发现它在渐近意义下表现出重尾分布，并给出了尾指数的上下界。我们通过数值实验验证了这些界限，并显示它们通常是 SGD 迭代的经验尾指数的近似。此外，这些界限的显式形式使我们能够量化优化参数与尾指数之间的相互作用，这对于研究神经网络的广义性能和 SGD 避免次优局部极小值的能力的关联问题具有重要意义。

    Feb, 2024

  • ImageNet 尺度下的非空泛化界：一种 PAC-Bayesian 压缩方法

    本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度，提高模型泛化性能，同时基于对模型压缩技术的分析，提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。

    Apr, 2018

  • 离线（多通道）随机梯度下降法中的近似重尾问题

    我们研究了随机梯度下降（SGD）在实际环境中可能展现出重尾行为，并且尾部的重度可能与整体性能有相关性。我们的贡献在于填补了单次通过（online）SGD 和多次通过（offline）SGD 之间在实际数据量有限情况下，生成重尾行为的机制仍不够清楚的空白。我们证明了离线 SGD 的稳态分布呈现了 “近似” 的幂律尾，并且近似误差由训练数据的经验分布在 Wasserstein 距离下收敛于真实潜在数据分布的速度所控制。随着数据点数量的增加，离线 SGD 行为将越来越类似于幂律分布。

    Oct, 2023

  • 深度神经网络压缩对长尾效应的影响研究

    本文研究在神经网络的网络压缩过程中如何保持原始网络的语义等价性，并通过对长尾现象的探讨，正向证明了全模型和压缩模型之间的差异与训练数据的记忆程度相关。

    Jun, 2023

  • 神经网络中的豪斯多夫维数、重尾及泛化

    本文提出了一种使用 Feller 过程来逼近 SGD 轨迹以及使用 Hausdorff 维度控制相关广义误差的学习理论框架，同时提出了使用 Feller 过程的尾部指数作为 “容量度量” 的概念，可用于估计广义误差，并且与参数数量不同于现有文献中的容量度量。

    Jun, 2020

  • 用于修剪非常深的神经网络的全局稀疏动量 SGD

    本文提出了一个基于动量优化（momentum-SGD-based optimization）的优化方法，用于压缩 DNN 模型，从而消除冗余参数，减少网络的复杂度。该方法采用全局压缩策略来自动找到层次的稀疏率，经过优化后能够无需耗费时间进行重训练的过程，具有更好的压缩效果和训练能力。

    Sep, 2019

  • 改进的贝叶斯压缩

    本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

    Nov, 2017