quadratic objectives | BriefGPT

关键词quadratic objectives

搜索结果 - 6

用于建模 SGD 的 Hessian 感知随机微分方程
连续时间近似是研究随机梯度下降从稳定点逃离行为的关键工具，本文提出了基于新颖的随机反向误差分析框架的 Hessian-Aware Stochastic Modified Equation (HA-SME) 来模拟这些行为，在平方目标函数情况
PDFa month ago
具向异性梯度噪声的随机重力球法加速收敛
本文通过建立随机重球方法在二次目标函数和异性梯度噪声条件下的非渐近收敛界，证明了重球动量可以在 SGD 的偏差项上提供加速收敛，同时与随机方差项相比，仍然能够实现接近最优的收敛速度，从而在统计极小化速度的对数因素范围内整体收敛，该结果意味着
PDF6 months ago
二次回归模型表现出稳定边缘的逐渐加强
本文研究了大步长梯度下降的特性，证明二阶回归模型中存在一种逐渐趋于稳定的过程，这一过程不仅仅局限于神经网络等复杂的高维非线性模型中，这可能是一种离散学习算法。
PDF2 years ago
ICLREigencurve：具有偏斜黑塞谱的二次目标的 SGD 的最优学习速率表
提供了 Eigencurve，第一个可以在在底层 Hessian 矩阵的特征值分布呈倾斜分布时，为 SGD 优化二次目标达到了 minimax 最优收敛速率（最多提升一个常数），实现其近似的两个简单的学习速度计划，对于某些问题，其形状类似于
PDF3 years ago
局部 SGD 比小批量 SGD 更好吗？
本文研究了局部 SGD（也称为并行 SGD 和联邦平均），一个自然且常用的随机分布式优化方法。在凸设置中，我们证明了局部 SGD 严格优于小批量 SGD，并且加速局部 SGD 在凸二次目标上是最小极值最优的。同时，我们还提供了总体上至少有时
PDF4 years ago
使用近似牛顿法的通信高效分布式优化
本研究提出了适用于分布式优化的一种新的 Newton 类方法，特别适用于随机优化和学习问题。对于二次目标，该方法的收敛速度呈现线性，可以按照数据规模得到改善，基于合理假设需要基本恒定次迭代。本文提供了理论和实证证据，表明我们的方法比其他方法
PDF11 years ago