May, 2024

具有本地更新和梯度跟踪的强健分布式学习

PDF
TL;DR我们提出了一种分散的极小极大优化方法，利用局部更新和梯度跟踪两个重要模块，用于解决分布式学习中的数据异质性和对抗鲁棒性的挑战，并分析了算法 Dec-FedTrack 在非凸 - 强凹极小极大优化情况下的性能，证明其收敛于一个稳定点。同时进行数值实验以支持我们的理论发现。
发现论文，激发创造
  • 去中心化快速梯度追踪的联邦极小化优化与本地更新

    提出了一种名为 K-GT-Minimax 的新型去中心化的最小最大优化算法，结合了本地更新和梯度跟踪技术，证明了该算法在非凸强凹（NC-SC）最小最大优化问题上具有较高的收敛速度，能够处理数据异构性并确保鲁棒性，从而推动联邦学习研究和应用的发展。

    May, 2024

  • 分散随机优化与梯度追踪简介

    本文综述了基于梯度追踪和方差减少的去中心化随机一阶优化方法，介绍了这些算法在去中心化机器学习模型训练中的应用。

    Jul, 2019

  • 联邦学习中的本地适应性：收敛和一致性

    本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

    Jun, 2021

  • 高效通讯的分布式鲁棒性分布式学习

    本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

    May, 2022

  • 分布式学习中的平坦性与优化之间的权衡

    该论文提出了一个理论框架，用于评估和比较梯度下降算法在非凸环境中围绕局部极小值的行为方面的分布学习性能。它发现分散学习策略能够更快地逃离局部极小值并更有利地收敛到更平坦的极小值，从而提高了分类准确性。

    Jun, 2024

  • 当去中心化优化遇上联邦学习

    本文系统地研究了分散式学习对于联邦学习的分布式最优化的机遇和挑战。

    Jun, 2023

  • FedGrad: 分散式機器學習中的優化

    本文介绍联邦学习作为一种分布式机器学习方法，提出自适应联邦优化算法和其他一些想法，并通过实验展示了在性能上的改进。

    Nov, 2022

  • 全局更新跟踪：一种用于异构数据的去中心化学习算法

    本文提出了一种名为 GUT 的新型跟踪方法，旨在降低异构数据在分散式学习中的影响，通过对各种 CV 数据集，模型架构和网络拓扑的详尽实验，证明了该方法相对于其他技术在异构数据分散式学习中实现了最先进的表现，并提升了 1-6% 的测试准确度。

    May, 2023

  • 基于图的去中心化对抗训练

    研究在图形上进行分散敌对训练以提高多智能体系统的鲁棒性。通过使用传播学习的 min-max 形式，我们开发了一种分散的敌对训练框架，在凸和非凸环境中分析了所提出方案的收敛性，并说明了对抗攻击的增强鲁棒性。

    Mar, 2023

  • 数据异构下去中心化学习的本地更新有效性

    在本文中，我们研究了两种基础的分散式优化方法：分散式梯度跟踪（DGT）和分散式梯度下降（DGD），并考虑了多次本地更新。我们证明了增加本地更新步骤可以降低通信复杂性，并揭示了通信与计算之间的权衡关系。在数据异质性较低且网络连接良好时，增加本地更新可以有效降低通信成本。我们还证明了在超参数化的情况下，即使没有梯度修正，DGD 中使用本地更新也可以降低通信复杂性。数值实验验证了我们的理论结果。

    Mar, 2024