联邦超参数调优：挑战、基准和与权重共享的联系
本研究提出了一种称为联邦优化的新的分布式机器学习设置，其中优化定义的数据分布在大量节点之间，通过少量通信轮次训练高品质集中模型，本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点，并为未来的联邦优化研究提供了借鉴。
Oct, 2016
本文提出了一种解决分散式学习中数据分布不一致、超参数调整等问题的两种方案，分别是特征匹配方案和自适应超参数调整方案，并在多个基准测试中证明，这两种方案可以显著提高性能和训练鲁棒性。
Dec, 2019
本文介绍了FedDANE，一种从分布式优化的方法DANE基础上，为应对联邦学习的现实约束而提出的一种优化方法。作者提供了该方法应用于凸性和非凸性函数时的收敛性保证，并通过从合成和真实数据集上的实验模拟，将FedDANE与 FedAvg 和 FedProx 的表现进行了类比，发现其性能不如基线模型，作者归因于设备参与率低和设备之间的统计异质性，并提出了一些未来工作的方向。
Jan, 2020
提出了FedSSO，一种用于联邦学习的服务器端二阶优化方法，通过使用服务器端近似的拟牛顿方法，我们不仅将计算负担转移给了服务器，而且完全消除了客户端和服务器之间用于二阶更新的额外通信，我们提供了对新方法的收敛的理论保证，并在凸和非凸环境中展示了快速收敛和通信节省。
Jun, 2022
提出了一种名为Delta-SGD的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在73%的实验中达到TOP-1准确度，在100%的实验中达到TOP-2准确度。
Jun, 2023
本文介绍一种名为FedPop的新型超参数调整算法，采用基于种群的进化算法来优化分布式机器学习模式中的超参数，从而提高计算效率并探索更广泛的超参数搜索空间。在常见的联邦学习基准和复杂真实世界的联邦学习数据集上进行的实证验证表明，该方法有效性明显优于其他并行处理联邦学习的超参数调整方法。
Aug, 2023
本研究解决了当前联邦学习中的超参数调整问题，提出了两种自动缩放全球模型更新的算法。这些新方法不仅确保了在强凸联邦目标下的线性收敛性，还能够有效替代计算缩放因子所需的服务器目标函数值。实验证明，这些方法在凸和非凸问题上性能优越或与流行的联邦学习算法相当。
Aug, 2024
本研究解决了在联邦学习中，由于设备计算能力和内存限制，导致梯度更新频率降低、训练效果不佳的问题。提出的FedRepOpt优化器通过调整优化器的梯度，使得简单的本地模型能够实现与复杂模型相似的性能，从而显著提升训练效果。实验证明，使用FedRepOpt的模型在性能和收敛速度上均有显著提升。
Sep, 2024
本研究针对联邦学习中设备模型面临的计算能力和内存限制问题，提出了一种新的梯度重参数化优化器FedRepOpt。该方法通过调整优化器的梯度，使简单的本地模型能达到与复杂模型相似的性能，实验结果显示使用FedRepOpt的模型在性能上提升显著，收敛速度更快，极大地推动了在边缘设备上部署大规模模型的可行性。
Sep, 2024