关键词gossip-based algorithm
搜索结果 - 6
- 时变网络中的去中心化优化与任意延迟
我们提出了一种称为 DT-GO 的新颖基于八卦的算法，它在不需要了解节点出度的情况下适用于一般的有向网络，对于拥有延迟或有限确认能力的网络。我们推导了凸和非凸目标的收敛速率，并证明我们的算法实现了与集中式随机梯度下降相同的复杂度顺序，也就是 - 分布式网络上的联邦多层优化
我们提出了一种基于八卦的分布式多级优化算法，它使网络代理能够在单一时间尺度上解决不同级别的优化问题，并通过网络传播共享信息。我们的算法在网络规模上线性扩展，并在超参数调整、分散强化学习和风险规避优化等各种应用中实现了最佳的样本复杂性。
- 加速异步通信的分散式深度学习（A²CiD²）
本文提出了基于 Gossip 的异步分布式训练算法 $ extbf {A}^2 extbf {CiD}^2$，它通过连续的动量来加速通信，同时适用于不同的异步方法，实验证明该算法在 ImageNet 数据集上使用高达 64 个异步工作器定位 - 基于去中心化传播的通信网络随机双层优化
本文研究了在网络上进行分布式双层优化问题，提出了一种基于谣言传播的分布式双层学习算法，证明了该算法对于一般非凸双层优化和强凸优化具有最优的样本复杂度，并在多项任务进行的两个例子中进行了测试。
- 去中心化随机优化和 Gossip 算法的压缩通信
提出了一种基于 gossip 的分散随机优化算法 CHOCO-SGD 和解决平均一致性问题的新型 gossip 算法 CHOCO-GOSSIP，旨在在机器学习任务上实现数据分布和优化，有效降低通信成本并能提高算法效率。
- 非凸优化的多智能体投影随机梯度算法收敛性
本文介绍了一种新的框架用于多智能体系统中分布式约束非凸优化算法的收敛分析，该算法由局部随机梯度下降和 GOSSIP 步骤组成，不需要 GOSSIP 矩阵双随机性，证明了算法收敛于 Karush-Kuhn-Tucker 点集，并适用于在自然广