ICMLMay, 2022

FedNest: 联邦双层、极小极大和组合优化

PDF
TL;DR本文提出了一种名为 edblo 的联邦交替随机梯度方法，用于解决复杂的嵌套双层规划问题，并在异构数据情况下建立了收敛性分析，同时提出了多种升级方法，包括联邦超梯度计算和方差缩减，实验结果表明其在超参和超表示学习和最小化最大化规划中具有实际效益。
federated optimizationnested bilevel programmingalternating stochastic gradient methodconvergence rateshyperparameter tuning
发现论文，激发创造
  • 基于动量方差缩减的局部随机双层优化

    本文研究分布式环境下的联邦双层优化问题，并针对性地提出了 FedBiO 和 FedBiOAcc 两种优化算法，用于解决团体公平的联邦学习任务，数值实验表明，与其他基线算法相比，该算法在性能上表现更优。

    May, 2022

  • 随机嵌套复合双层优化，用于稳健的特征学习

    该研究开发和分析了用于解决嵌套复合双层优化问题的随机逼近算法，并利用 Neumann 级数逼近来避免矩阵求逆，以实现对于存在偏差的随机梯度的稳定解决方案，研究成果具有在深度神经网络中应用鲁棒特征学习等方面的实际优势。

    Jul, 2023

  • 带噪标签的高效鲁棒联邦学习通信优化

    本文研究基于联邦学习的标签噪声问题，并提出了一种基于学习的重新加权方法来减轻该问题的影响。同时，本文还提出了一种名为 Comm-FedBiO 的方法来解决通信效率低的 Federated Bilevel Optimization 问题，并在多个真实世界数据集上验证了其表现优于其他方法。

    Jun, 2022

  • 分布式网络上的联邦多层优化

    我们提出了一种基于八卦的分布式多级优化算法，它使网络代理能够在单一时间尺度上解决不同级别的优化问题，并通过网络传播共享信息。我们的算法在网络规模上线性扩展，并在超参数调整、分散强化学习和风险规避优化等各种应用中实现了最佳的样本复杂性。

    Oct, 2023

  • 具有水平无关收敛速度的网络随机多级组合优化算法

    探讨了针对多层分布式部署的随机优化问题的两种新的分布式优化算法，并在理论上和实验中验证了两种算法的有效性。

    Jun, 2023

  • FedSplit：一种用于快速联邦优化的算法框架

    本文介绍了一类名为 FedSplit 的基于操作分裂的算法，用于解决具有加性结构的分布式凸最小化，该算法在联邦学习、分布式优化等领域有较好的应用前景。

    May, 2020

  • 通过极小极大重表达实现高效双层优化

    提出了一种将双层优化问题重新设计成极小极大问题的方法，并采用渐进式梯度下降上升算法来解决该问题，结果表明该算法在降低计算成本的同时，优于现有的基于双层优化的算法。

    May, 2023

  • 在分散式随机组合极小化优化中实现线性加速

    通过开发一种新的具有动量的分布式随机组合梯度下降上升算法，我们解决了分布式组合极小化问题中内层函数的共识误差，并证明了其能够实现线性加速。我们相信这种算法设计能够促进分布式组合优化的发展。对于不平衡分类问题，我们的广泛实验结果证明了算法的有效性。

    Jul, 2023

  • 解决联邦学习中一类非凸极小化最大化优化问题

    我们研究了一类联邦非凸极小极大优化问题，提出了 FL 算法，并减少了对最常见的极小极大问题的通信复杂度。

    Oct, 2023

  • 基于去中心化传播的通信网络随机双层优化

    本文研究了在网络上进行分布式双层优化问题，提出了一种基于谣言传播的分布式双层学习算法，证明了该算法对于一般非凸双层优化和强凸优化具有最优的样本复杂度，并在多项任务进行的两个例子中进行了测试。

    Jun, 2022