基于零阶优化技术的通信与能量高效的联邦学习
研究了基于无线通信网络的联邦学习中的能源有效传输和计算资源分配问题，并提出了一种迭代算法，以解决此优化问题，并通过数值结果表明了该算法相对于传统FL方法可将能源消耗降低高达59.5％。
Nov, 2019
本研究基于多用户联合学习模型，旨在解决在大规模分布式学习中存在的通信瓶颈问题。该研究使用了一种随机梯度量化策略，得以精确定制不同节点的资源分配，减少通信开销，提高学习效率。
Jan, 2020
本研究旨在回答联邦学习在上下行通信均存在错误的情况下，可以处理多少通信噪声，以及对学习性能的影响。通过将上行和下行噪声通道明确地纳入联邦学习管道中，提出了几种新的联邦学习收敛性分析。结果表明，为了保持与无通信错误的理想情况相同的收敛行为，需要控制直接模型传输的上行和下行信噪比，使其随通信轮数的指数t的平方数量级增长，但可以在模型差分传输中保持不变。这些理论结果的关键洞察力是“低调飞行”原则 - 随机梯度下降是一种内在的嘈杂过程，只要上行/下行通信噪声不占支配地位，就可以容忍它们。
Jan, 2021
本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助FedZO算法。在非凸设置下，研究了FedZO算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。
Jan, 2022
本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对FL算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
提出了一种基于高度稀疏操作的ZeroFL框架，用于加速On-device训练，使Federated Learning能够训练高性能机器学习模型，并提高了精度。
Aug, 2022
本研究使用增量Hessian估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法，以达到超线性收敛，通过在Stiefel流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式，在中央服务器上构建梯度和Hessian估计器。我们对我们的算法进行了理论分析，命名为FedZeN，证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率，并表明我们的算法优于文献中可用的零阶联邦学习方法。
Sep, 2023
利用通信高效的框架，我们提出了一种新颖的、基于零阶方法的联邦学习（ZOFL）框架，通过利用无线通信信道的特性，在学习算法本身中包含无线信道，而无需分析并消除其影响。
Jan, 2024