联邦学习的最优重要性采样
本文提出一种基于重要性抽样的联邦学习 (ISFL) 框架，紧密结合局部训练与周期共享，解决分布式客户端上存在的梯度差异、收敛性能等问题，并在 CIFAR-10 数据集上验证了其优越性能。同时，该方法是首个从局部采样角度提出的可与神经网络模型兼容的非独立同分布联邦学习解决方案，易于运用于其他新兴 FL 框架。
Oct, 2022
本文提出了一种新颖的数据均匀采样策略用于联邦学习中，通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习，同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小，实验结果表明 FedSampling 可以有效提高联邦学习的性能。
Jun, 2023
本文通过一种新的客户端子采样方案解决联邦学习中客户端 — 主节点通信的瓶颈问题，并提供了适用于分布式随机梯度下降和联邦平均等方法的简单算法，可优化客户端参与度，且不危害客户隐私，从而在减少通信开销的同时实现了准确的全局模型更新。
Oct, 2020
通过提出的自适应方法和重要性采样方法，在机器学习框架中有效地整合了重要性函数，并仅通过输出层的损失梯度提出了一个简化的重要性函数，以实现在分类和回归任务中更好的收敛性和最小的计算开销。
Nov, 2023
该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。
Nov, 2015
本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。
Jul, 2020
该研究调查了联邦学习（FL）这一机器学习范式，允许在不共享原始数据的设备上进行分散模型训练，从而保护数据隐私。我们比较了该范式内的两种策略：联邦平均（FedAvg）和个性化联邦平均（Per-FedAvg），重点关注它们在非独立同分布数据（Non-IID）条件下的性能。我们的分析显示，使用狄利克雷分布建模的数据异质性水平显著影响两种策略的性能，在高异质性条件下，Per-FedAvg 表现出更强的健壮性。我们的结果为在分散环境下开发更有效和高效的机器学习策略提供了见解。
Sep, 2023
本文研究了在联邦学习中的服务端优化问题，运用随机重排等技术，证明在使用 Federated Averaging 算法的情况下，通过调整本地学习率，可以显著提高求解凸优化和非凸优化问题的效果。同时，通过选择合适的本地学习率，可以有效克服通信瓶颈问题。
Jan, 2022
本文提出了一种基于 Heuristic 和 Bandit 反馈的在线优化算法，可以寻找一种重要性采样分布序列，竞争力可以与后见之明得到的最佳固定分布相媲美，并在实验验证中证明了该算法在多个数据集和设置下有效的优点。
Feb, 2018