convex objectives | BriefGPT

关键词convex objectives

搜索结果 - 7

ICML有限和耦合组成随机优化：理论与应用
该论文研究了一种用于解决机器学习中优化非凸或凸组合测度 / 目标的随机算法，并提供了适用于非凸和凸目标的收敛分析。其中用到的算法是基于移动平均估计器的，且还提供了可以提高实现精度的新方法。
PDF2 years ago
服务器端步长和无替换采样在联邦优化中被证明有效
本文研究了在联邦学习中的服务端优化问题，运用随机重排等技术，证明在使用 Federated Averaging 算法的情况下，通过调整本地学习率，可以显著提高求解凸优化和非凸优化问题的效果。同时，通过选择合适的本地学习率，可以有效克服通信瓶
PDF2 years ago
局部 SGD 比小批量 SGD 更好吗？
本文研究了局部 SGD（也称为并行 SGD 和联邦平均），一个自然且常用的随机分布式优化方法。在凸设置中，我们证明了局部 SGD 严格优于小批量 SGD，并且加速局部 SGD 在凸二次目标上是最小极值最优的。同时，我们还提供了总体上至少有时
PDF4 years ago
ICML非凸优化中 RMSProp 和 ADAM 的收敛性保证及与 Nesterov 加速的实证比较
本篇论文探讨了 ADAM 和 RMSProp 优化算法的理论性质和收敛性能，并通过实验比较了它们与 Nesterov 梯度法在多种自编码器结构和数据集上的表现，并表明调整其超参数可以获得更好的泛化性能。
PDF6 years ago
如何随机地使梯度变小：更快的凸优化和非凸优化随机梯度下降
该研究分别设计了针对凸函数和非凸函数的优化算法 SGD3 和 SGD5，分别能够在近最优的速率下找到梯度范数为特定值的最小值点和近似局部极小值点，并且这些速率具有优越性和不劣性。
PDF6 years ago
并行 SGD：何时使用平均有帮助？
研究了多个工作者独立运行 SGD 并定期平均模型的常见但未被充分理解的做法，探讨了模型平均作为方差减少机制的两种方式，并说明了平均频率对收敛的影响，对于凸目标函数，频繁平均的好处依赖于梯度方差包络，在非凸目标函数中，该好处取决于多个全局最优
PDF8 years ago
用主 - 对偶次梯度法最小化一致凸函数
讨论非欧几里得确定性和随机算法，解决强凸和一致凸的优化问题，提供算法性能的准确性界限，设计针对强或一致凸性参数的自适应方法：在总迭代次数 $N$ 固定的情况下，它们的准确度与最优算法的准确度相同，直到 $N$ 的对数因子。
PDF10 years ago