nonconvex stochastic optimization | BriefGPT

关键词nonconvex stochastic optimization

搜索结果 - 4

Shadowheart SGD: 面对任意计算和通信差异的分布式异步 SGD 的最优时间复杂度
在异步集中式分布式设置中，我们考虑非凸随机优化问题，其中来自工作节点到服务器的通信时间不可忽略，并且计算和通信时间可能对所有工作节点都不同。使用一种无偏压缩技术，我们开发了一种新方法 - Shadowheart SGD，可以明显改善所有之前
PDF5 months ago
Apollo: 一种自适应参数逐个对角线拟牛顿法在非凸随机优化中的应用
介绍了一种名为 Apollo 的准牛顿法，通过对损失函数的海塞矩阵进行对角矩阵逼近，使算法的时间复杂度和内存占用保持在线性复杂度上，同时实现了对非凸优化的处理。实验结果表明，Apollo 相对于 SGD 和 Adam 等随机优化方法在收敛速
PDF4 years ago
训练深度神经网络的自适应学习率优化算法的适当学习率
本文针对深度学习中的非凸随机优化问题，提出了适当的学习率，并使用自适应学习率优化算法（如 Adam 和 AMSGrad），可以近似问题的固定点，同时保证这些算法可以近似凸随机优化问题的全局最小值，在文本和图像分类的实验中，采用不同的学习率优
PDF4 years ago
关于一类 Adam 型非凸优化算法的收敛性
本文研究一类自适应梯度基于动量的算法，这些算法同时使用过去的梯度更新搜索方向和学习率。该类算法被称为 Adam 类型，研究了一些充分条件，保证了这些方法在解决非凸优化问题时的收敛性，为训练深度神经网络提供了理论支持。另外，文中提出了一类（确
PDF6 years ago