BriefGPT.xyz
Ask
alpha
关键词
curvature information
搜索结果 - 5
Fed-Sophia: 一个高效的二阶联邦学习算法
本文章介绍了一个可扩展的二阶方法 Fed-Sophia，通过结合梯度的加权移动平均和剪切操作来寻找下降方向，并使用海森矩阵对角线的轻量级估计来融入曲率信息。数值评估表明，与一阶和二阶基准相比，所提出的 Fed-Sophia 算法在优越性、鲁
→
PDF
a month ago
非凸机器学习的二阶优化：一个经验性研究
本文研究了一类基于牛顿方法的优化算法在非凸机器学习问题中的应用，展示了其可以更好地利用曲率信息来逃离平坦区域和鞍点，并在泛化性能方面表现相当于或优于手动调整学习率的随机梯度下降算法。
PDF
7 years ago
SDNA：随机二次牛顿提升算法用于经验风险最小化
通过 Stochastic Dual Newton Ascent 算法，我们提出一种新的途径最小化正则化经验损失，该方法更新了随机子集的对偶变量，可以利用模型中所有曲率信息，实践中有着明显的提高，特别对于二次损失函数。
PDF
9 years ago
ICLR
ADASECANT：用于随机梯度的鲁棒自适应割线法
本文介绍一种新的自适应学习率算法，该算法利用曲率信息自动调整学习率，并提出一种新的方差缩减技术来加速收敛。在深度神经网络的初步实验中，与常见的随机梯度算法相比获得了更好的性能。
PDF
10 years ago
大规模优化的随机拟牛顿法
本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。
PDF
10 years ago
Prev
Next