使用轨迹信息的联邦式零阶优化
本研究提出了一种称为联邦优化的新的分布式机器学习设置，其中优化定义的数据分布在大量节点之间，通过少量通信轮次训练高品质集中模型，本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点，并为未来的联邦优化研究提供了借鉴。
Oct, 2016
本文介绍了一类名为 FedSplit 的基于操作分裂的算法，用于解决具有加性结构的分布式凸最小化，该算法在联邦学习、分布式优化等领域有较好的应用前景。
May, 2020
本文提出联邦 Thompson 采样（FTS）方法，将贝叶斯优化扩展到联邦学习环境中，以协作方式解决黑盒优化问题，用随机傅里叶特征来逼近高斯过程代理模型，采用 Thompson 采样的方式来降低交换的参数数量，并提供了一个理论保证。实验表明 FTS 有效地解决了沟通效率、计算效率和实际性能等问题。
Oct, 2020
本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助FedZO算法。在非凸设置下，研究了FedZO算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。
Jan, 2022
提出了FedSSO，一种用于联邦学习的服务器端二阶优化方法，通过使用服务器端近似的拟牛顿方法，我们不仅将计算负担转移给了服务器，而且完全消除了客户端和服务器之间用于二阶更新的额外通信，我们提供了对新方法的收敛的理论保证，并在凸和非凸环境中展示了快速收敛和通信节省。
Jun, 2022
本研究使用增量Hessian估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法，以达到超线性收敛，通过在Stiefel流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式，在中央服务器上构建梯度和Hessian估计器。我们对我们的算法进行了理论分析，命名为FedZeN，证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率，并表明我们的算法优于文献中可用的零阶联邦学习方法。
Sep, 2023
本篇论文以三个方向推动本地方法的理论基础：（1）建立FedAvg的尖锐界限；（2）提出了FedAvg的有原则的加速方法FedAc；（3）研究了扩展经典平滑设置的Federated Composite Optimization问题。
Jan, 2024
利用通信高效的框架，我们提出了一种新颖的、基于零阶方法的联邦学习（ZOFL）框架，通过利用无线通信信道的特性，在学习算法本身中包含无线信道，而无需分析并消除其影响。
Jan, 2024
本研究解决了在缺乏梯度信息的情况下，当前零阶优化方法中估计错误较高的问题。通过提出一种非各向同性采样方法，以历史解轨迹作为子空间进行梯度估计，从而改善收敛性。研究结果表明，该方法在联邦设置中的收敛速度与现有方法相当，并且在通信和本地计算上没有显著的额外开销。
Sep, 2024
本研究解决了联邦学习中上传方向的通信瓶颈及能量消耗问题，提出了一种零阶优化方法，允许每个设备每次迭代仅需上传一个量化的单标量，而不是整个梯度向量。我们的实验与理论证明表明，该方法在通信开销和能量消耗方面优于传统的基于梯度的联邦学习方法。
Sep, 2024