中间表示正则化的联邦学习
本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题，通过在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。
Mar, 2022
为克服联邦学习中数据异构和不平衡的问题，本文提出了一种新的构架规范技术，通过在每个本地模型中构建多个辅助分支，并通过在线知识蒸馏使本地模型的主路径表示与辅助混合路径保持一致，进而增强了全局模型的鲁棒性。该技术在非 iid 环境中有效并适用于各种联邦学习框架，并且不会产生额外的通信成本。实验结果表明，与现有方法相比，该技术具有显着的准确性和效率提高。
Jul, 2022
在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。
Jul, 2023
提出了一种名为 FedCiR 的客户端不变表示学习框架，通过改进表示和标签之间的互信息项，以及减少客户集和表示之间在标签条件下的互信息项，实现提取信息性和客户端不变的特征，通过两个正则化项来限制近似全局表示分布的互信息项以弥补缺失的真实全局表示分布，进而实现了解决数据异质性和实现客户端不变表示学习的目标。
Aug, 2023
FLR 是一种创新策略，通过生成新的伪标签并将本地和全局模型的预测相结合，有效地应对联邦学习中的标签噪声问题，提高全局模型在不同设置下的准确性并防止记忆嘈杂的标签，从而改善在标签准确性有误的 FL 环境中的泛化能力。
Feb, 2024
本文提出了一种名为 RepPer 的独立的两阶段个性化联邦学习框架，其中包括非独立同分布数据（Non-IID data）对全局模型的表示学习的危害，并分离了表示学习和分类器学习，从而实现了个性化，并且在各种数据集和异构数据设置上的实验表明，RepPer 在非独立同分布数据上的灵活性和个性化方面优于其他方法。
Apr, 2022
本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
Nov, 2021
提出了一种新的联邦学习方法 FedIN，支持异构模型和 IN 训练，并通过凸优化问题解决了梯度分歧问题。实验结果表明，在异构模型环境下，FedIN 相比目前先进的算法表现最佳。
Apr, 2023
我们提出了 FedMRUR 方法，采用流形模型融合方案和一种新的全局优化器来减轻模型不一致性的负面影响，并通过在低维子空间中使本地和全局模型的数据表示相互接近的双曲图流形正则化器，从而显著减少模型不一致性，实现了局部客户更新的正交性引入的规范缩减。我们还证明了该算法在非凸设置下可以实现线性加速性能，并通过实验证明 FedMRUR 在通信量较少的情况下可以实现新的最先进准确性。
Nov, 2023