BriefGPT.xyz
Ask
alpha
关键词
stochastic optimization methods
搜索结果 - 5
Chung 引理的广义版本及其应用
发展了一个泛化版本的 Chung 引理，用于建立非渐进收敛速度的收敛框架，适用于更一般的步长规则，并为各种随机方法提供了紧致的非渐进收敛速度。
PDF
a month ago
马尔可夫链镜像下降在数据联合中的应用
该研究提出了一种名为 MarchOn 的随机镜像下降的新版本，应用于联合学习的场景，通过分析该方法的新框架，获得了凸性、强凸性和非凸性损失函数的最佳收敛速度，最后通过实证研究验证了理论结果。
PDF
9 months ago
IJCAI
基于松弛梯度支持追踪的高效稀疏受限非凸优化
论文提出了一种新的松弛梯度支持追踪（RGraSP）框架，其中次算法只需满足弱下降条件，两个特定的半随机梯度硬阈值算法的硬阈值操作比 SVRGHT 少，每次迭代的平均成本更低，该方法具有更快的收敛速度。
PDF
5 years ago
通过传输过去的梯度来减少在线优化中的方差
本文提出了一种基于隐式梯度传输的在线随机优化方法，通过修正过去梯度的陈旧性，提高了更新稳定性和收敛速度，在多种结构和基准问题下均取得了最先进的结果，并且在约束条件下获得了最优的渐进收敛率。
PDF
5 years ago
ICLR
Adam 及其发展的收敛性研究
通过给 Adam 算法加上‘长期记忆’过去梯度的方法，不仅可以解决收敛问题，而且经常提高算法的实验性能。
PDF
5 years ago
Prev
Next