为克服联邦学习中数据异构和不平衡的问题，本文提出了一种新的构架规范技术，通过在每个本地模型中构建多个辅助分支，并通过在线知识蒸馏使本地模型的主路径表示与辅助混合路径保持一致，进而增强了全局模型的鲁棒性。该技术在非 iid 环境中有效并适用于各种联邦学习框架，并且不会产生额外的通信成本。实验结果表明，与现有方法相比，该技术具有显着的准确性和效率提高。

Jul, 2022

本文研究异构分布共享的随机梯度下降优化问题，通过对比 Local SGD 和 Minibatch SGD，得到加速的 Minibatch SGD 是解决高异质性问题的最优方法，并提出了第一个比 Minibatch SGD 更好的 Local SGD 的上界解。

Jun, 2020

研究了混合异构性如何影响联邦优化，通过调查服务器端优化表明，自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响，引入了具有理论保证的新型基于梯度的优化器 FedAWARE，通过在异构联邦设置中进行大量实验表明，我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。

Oct, 2023

本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

Jan, 2022

本文研究随机梯度下降（SGD）的学习率对准确性的影响，证明当学习率适当大时，SGD 的迭代路径离梯度下降路径更近，这种现象可通过引入一个隐式正则化项进行解释，并通过实验证明在适当的学习率下包含隐式正则化项可以提高测试准确性。

Jan, 2021

在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

Jul, 2023

本文研究了联邦学习中数据异构性的挑战，提出了通过对实验数据进行部分重洗来优化收敛率的方法。通过本文提出的理论方法，我们证明了重洗可以显着减少数据的不同之处，从而加快收敛速度，本研究提出了一种使用本地生成的合成数据进行重洗的实际方法，并证明了通过该方法可以显著提高多个现有联邦学习算法的性能。

Jun, 2023

我们提出了一种新的联邦学习方法，通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时，在凸和非凸情况下实现了高效训练。

Nov, 2021

本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升 40% 的模型准确度。

Jan, 2020

提出了一种新颖的联邦学习框架（FedPTR），通过采用轨迹正则化来解决分布式学习中数据异质性问题，利用模型训练轨迹中的全局信息进行本地训练规范化，经过理论分析和实验证明其快速收敛并在异质数据分布下具有良好效果。

Dec, 2023