accelerated stochastic gradient descent | BriefGPT

关键词accelerated stochastic gradient descent

搜索结果 - 4

过参数化线性回归的加速 SGD 的风险界
我们研究了加速随机梯度下降（ASGD）在过参数化线性回归中的泛化情况，建立了数据协方差矩阵的每个特征子空间下的 ASGD 的过量风险界限，结果显示出 ASGD 在小特征值子空间中的偏差误差以指数衰减的速度优于 SGD，而在大特征值子空间中，
PDF7 months ago
为什么彩票票获胜？剪枝神经网络中样本复杂度的理论视角
本文通过分析目标函数的几何结构和样本复杂度，理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下，训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比，从而提供了对中奖票证明的形式化证明。
PDF3 years ago
ICLR关于现有动量方案在随机优化中的不足
本论文通过证明存在简单的问题实例以及提出一种新的基于 Nesterov 的算法，来对现有的快速梯度方法在随机情况下的局限性以及不足进行研究。实验证明，该新算法比常见的方法更具优势。
PDF6 years ago
机器学习中具有动量加速作用的快速随机方差减少梯度方法
本文提出了一种基于 Nesterov 的动量和增长 epoch size 技术设计的快速随机方差缩减梯度（FSVRG）方法，其具有较低的复杂度和强的收敛性，可以直接解决具有非平滑组件函数的问题，并在解决 logistic 回归，岭回归，套索
PDF7 years ago