Jun, 2022

基于去中心化传播的通信网络随机双层优化

PDF
TL;DR本文研究了在网络上进行分布式双层优化问题，提出了一种基于谣言传播的分布式双层学习算法，证明了该算法对于一般非凸双层优化和强凸优化具有最优的样本复杂度，并在多项任务进行的两个例子中进行了测试。
bilevel optimizationdistributed optimizationgossip-based algorithmmulti-agent learningreinforcement learning
发现论文，激发创造
  • 分散双层优化的通信复杂度

    我们开发了一种新颖的去中心化随机双层梯度下降算法，在异构环境中具有每轮小的通信成本和通信轮数，从而比现有算法实现了更好的通信复杂度。我们还将我们的算法扩展到更具挑战性的去中心化多级优化问题。根据我们的知识，我们是第一次在异构环境下实现这些理论结果。最后，实验结果证实了我们算法的有效性。

    Nov, 2023

  • 分布式网络上的联邦多层优化

    我们提出了一种基于八卦的分布式多级优化算法，它使网络代理能够在单一时间尺度上解决不同级别的优化问题，并通过网络传播共享信息。我们的算法在网络规模上线性扩展，并在超参数调整、分散强化学习和风险规避优化等各种应用中实现了最佳的样本复杂性。

    Oct, 2023

  • 去中心化双层优化

    研究了分散设置下非凸强凸双层优化问题，在确定性和随机双层优化问题上设计了分散算法。分析了算法的收敛速度，包括在代理间观察到数据异构性的情况。通过对合成和真实数据的数值实验表明，所提出的方法是有效的。

    Jun, 2022

  • 网络中平滑且强凸分布式优化的最优算法

    该论文在两个设置中确定了强凸和光滑分布式优化的最优收敛速率：中央集权和去中心化通信。对于中央集权算法，作者表明分布式 Nesterov 加速梯度下降算法是最优的。对于基于流言蜚语 (gossip) 的去中心化算法，作者提供了第一个最优算法 MSDA 方法，并通过最小二乘回归和分类的逻辑回归问题验证了其效率。

    Feb, 2017

  • 高效分布式在线预测和随机优化：近似分布式平均方法

    研究分布式方法用于在线预测和随机优化，并提出了基于 gossip 的优化方法以实现最优的后悔界限。

    Mar, 2014

  • 分布式双层优化的单循环算法

    在这篇论文中，我们考虑了分散网络中的双层优化问题，提出了一种针对具有强凸下层问题的分散式双层优化的新型单循环算法。我们的算法完全是单循环算法，在逼近超梯度时不需要进行复杂的矩阵向量乘法。此外，与现有的分散式双层优化和联邦双层优化方法不同的是，我们的算法不需要任何梯度异质性假设。我们的分析结果显示，该算法达到了迄今为止双层优化算法的最佳收敛速度。

    Nov, 2023

  • 基于动量方差缩减的局部随机双层优化

    本文研究分布式环境下的联邦双层优化问题，并针对性地提出了 FedBiO 和 FedBiOAcc 两种优化算法，用于解决团体公平的联邦学习任务，数值实验表明，与其他基线算法相比，该算法在性能上表现更优。

    May, 2022

  • 去中心化和随机优化的通讯高效算法

    本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题，其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始 - 对偶算法，以解决在去中心化优化中通讯瓶颈。

    Jan, 2017

  • 去中心化随机优化和 Gossip 算法的压缩通信

    提出了一种基于 gossip 的分散随机优化算法 CHOCO-SGD 和解决平均一致性问题的新型 gossip 算法 CHOCO-GOSSIP，旨在在机器学习任务上实现数据分布和优化，有效降低通信成本并能提高算法效率。

    Feb, 2019

  • 具有水平无关收敛速度的网络随机多级组合优化算法

    探讨了针对多层分布式部署的随机优化问题的两种新的分布式优化算法，并在理论上和实验中验证了两种算法的有效性。

    Jun, 2023