异构联邦学习
本文提出使用自注意力机制的神经网络模型（如Transformer），替代传统的卷积神经网络模型，以改进联邦学习中的模型性能和稳定性，尤其当处理异构数据的时候，可以大大降低模型遗忘和加快模型学习收敛速度。
Jun, 2021
本文提出了基于特征对齐 Fed2 的联邦学习框架，通过显式的特征分配和特征配对均值方案，解决了联邦学习过程中参数随机性造成的结构特征不匹配的问题，提高了模型的收敛性能。
Nov, 2021
本论文提出了一个数据异构鲁棒的联邦学习方法——FedGSP，该方法使用动态序列-并行协作训练的新概念，通过将FL客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的Inter-Cluster Grouping (ICG)算法来辅助分配，该算法利用重心等价定理简化NP难问题，实验结果表明FedGSP相比七种现有方法平均提高了3.7％的准确率，并将训练时间和通信成本降低了90％以上。
Jan, 2022
本研究提出了一种新的合奏知识转移方法Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET明显优于其他最先进的FL算法，并且对于高数据异构性也是强健的。
Apr, 2022
利用全局特征知识进行本地表示学习的显式本地-全局特征对齐，以及针对每个客户端量化分类器组合的优点，导出一个优化问题来估计最优权重，有效地处理异构数据场景。
Jun, 2023
机器学习的未来在于边缘计算，用于数据收集和训练，联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架，用于解决联邦优化中的计算异构性问题，包括异构数据和本地更新，并从理论和实验的角度进行了广泛的分析。
Jul, 2023
通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。
Aug, 2023
我们提出了Fed-CO2，这是一个统一的联邦学习框架，用于处理标签分布倾斜和特征倾斜，通过在线和离线模型之间的合作机制来增强模型合作，同时设计了内部客户知识传递机制和客户间知识传递机制来增强模型之间的领域泛化能力。在处理标签分布倾斜和特征倾斜方面，我们的Fed-CO2在个体和整体上均优于现有的个性化联邦学习算法。
Dec, 2023
异构联邦学习领域中，关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念，并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外，我们探讨了现有最先进的方法如何应对异构联邦学习的异质性，并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后，本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后，本文讨论了目前存在的开放问题和未来研究方向，旨在推动异构联邦学习的进一步发展。
May, 2024