关键词distributed stochastic optimization
搜索结果 - 8
- ICLR通过自排斥随机行走加速分布式随机优化
使用一种非线性 Markov 链 - 即自排斥随机游走（SRRW）驱动分布式随机优化算法，证明了该算法的迭代误差趋于零，同时导出了迭代误差对应的渐近协方差矩阵的显式形式。
- 面向分布式学习的资源适应性牛顿法
通过采用简单的 Hessian 初始化和自适应训练区域分配，本论文介绍了一种名为 RANL 的新颖高效算法，该算法克服了 Newton 方法在大规模和异构学习环境中的限制，展现了出色的收敛性能，有效地适应可用资源并保持高效率，使其成为实际场 - 一种灵活的梯度追踪方法的计算 - 通讯权衡
提出了一种灵活的梯度跟踪方法，用于解决非独立同分布情况下网络上的分布式随机优化问题，利用设计良好的李亚普诺夫函数，导出了计算和通信复杂度，以实现在光滑和强凸目标函数上的任意精度。
- 分布式随机优化中的下限与通信压缩加速算法
本文研究了利用通信压缩的分布式随机优化算法的性能上限，并提出了 NEOLITHIC 算法，该算法在温和条件下实现所建立的理论下限。
- 分布式批量梯度计算的拜占庭鲁棒非凸 SVRG 算法
本研究考虑了在敌对环境下最小化一个期望函数的非凸分布式随机优化问题，在此基础上，提出了一种机制，通过使用一种新型的拜占庭过滤规则，可以保证算法收敛，并且能够捕捉网络中破损节点所带来的影响。
- 强连通网络上带梯度跟踪的分布式随机优化
本文针对代理节点组成的网络上局部代价函数的最小化问题，提出了一种使用异步算法，通过辅助变量迭代逼近全局代价函数的梯度的算法，并使用行和列马尔科夫矩阵来保证算法的一致和最优性。同时，通过数值仿真，验证了该算法的可用性。
- 拜占庭随机梯度下降
本文研究了在对抗性环境下分布式随机优化问题，其中包括部分机器为拜占庭故障，提出了解决方案并证明了算法的采样和时间复杂度均达到信息上界。
- 小批量 Prox 分布式随机优化的高效内存和通信
提出一种分布式随机优化的方法，该方法具有统计上的最优性并且可以实现近线性的加速（达到对数级因子）。该方法允许通信 - 内存权衡，具有对数级通信但线性内存或多项式通信和相应的多项式内存降低。 通过使用小批量相对迭代（小批量被动 - 侵略性更新