本研究探讨了利用 Deep Equilibrium（DEQ）模型而不是传统的深度学习网络来解决联邦学习（FL）问题的新视角。我们声称将 DEQ 模型纳入联邦学习框架中，自然解决了 FL 中的若干开放问题，例如由于共享大型模型而产生的通信开销，以及能够并入具有显著不同计算能力的异构边缘设备。此外，在 FL 框架的服务器端提出了一种加权平均融合规则，以考虑来自异构边缘设备的不同模型质量。据我们所知，本研究是第一个建立 DEQ 模型和联邦学习之间联系的研究，对于开发高效而有效的 FL 框架做出了贡献。最后，我们给出有前途的初始实验结果，证明了这种方法在解决 FL 挑战方面的潜力。

May, 2023

基于进化策略的联邦学习算法（FedES）通过只传输损失值而减少了通信开销，并且保护了数据隐私。实验结果表明 FedES 在保持收敛性能与反向传播方法相同的同时，能够实现上述优势。

Nov, 2023

在高度普及的边缘场景中，缺乏中央控制器和预定的设备连接导致了复杂的网络结构，我们提出了一种通信高效的分散式联邦学习（DFL）算法来解决由数据和不同训练历史引起的异构学习难题，研究结果表明，与竞争方法相比，我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。

Dec, 2023

通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

Jun, 2024

通过将人工智能（AI）与边缘计算相结合，边缘智能利用终端设备和边缘服务器的计算和通信能力，在数据产生的地方进行处理，从而实现人工智能的大规模和高效部署。其中一项关键技术是隐私保护的机器学习范式 Federated Learning（FL），该范式使数据所有者能够在无需将原始数据传输到第三方服务器的情况下训练模型。然而，FL 网络预计涉及成千上万个异构分布式设备，因此通信效率仍然是一个关键瓶颈。为了减少节点故障和设备退出，提出了一种分层联邦学习（HFL）框架，其中指定的集群领导者通过中间模型聚合支持数据所有者。因此，基于改进的边缘服务器资源利用，本文可以有效弥补缓存容量的限制。为了减轻软点击对用户体验质量（QoE）的影响，作者将用户 QoE 建模为综合系统成本。为解决这个公式化问题，作者提出了一种具有联邦深度强化学习（DRL）和联邦学习（FL）的分散式缓存算法，其中多个代理独立学习并做出决策。

Mar, 2024

本文提出了一种称为 EvoFed 的新方法，通过将进化策略（ES）与分布式学习（FL）相结合，解决了传统 FL 中高通信成本的问题。EvoFed 通过基于适应度的信息共享，在节点之间传递一种基于距离的相似度度量，从而大幅减少了通信负载。在实验中，EvoFed 在各种实际环境中展现出与 FedAvg 相当的性能，同时显著降低了通信需求。

Nov, 2023

我们提出了一种异步高效去中心化联邦学习框架，即 AEDFL，它在异构环境中具有三个独特的贡献：首先，我们提出了一种异步的 FL 系统模型，并使用高效的模型聚合方法来改进 FL 的收敛性；其次，我们提出了一种动态过期感知的模型更新方法，以实现更高的准确性；第三，我们提出了一种自适应的稀疏训练方法，以降低通信和计算成本，同时准确性下降不显著。通过在四个公共数据集和四个模型上进行广泛的实验，证明了 AEDFL 在准确性（高达 16.3%）、效率（高达 92.9%）和计算成本（高达 42.3%）方面的优势。

Dec, 2023

本文研究一种理性协作称作‘协作均衡’的范式，使用‘利益图’描述每个客户端与其他客户端合作的益处，并提出 Pareto 优化方法来识别最佳合作者，通过迭代图操作从利益图中达成协作均衡。在合成和真实数据集上进行的实验表明了我们的方法的有效性。

Aug, 2021

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为 “发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。

Jun, 2023