本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016

本篇论文提出了一种有效的联邦学习框架，用于保护隐私的新闻推荐，通过在服务器上维护一个大的新闻模型和在服务器和客户端共享的轻量级用户模型来分解新闻推荐模型，实现了客户端的计算和通信成本的降低，并通过隐私保护的安全聚合方法对梯度进行聚合。

Sep, 2021

本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

Sep, 2021

在此研究中，我们展示了 Low-Rank Adaptation 方法在从头开始训练小尺寸视觉模型的联邦学习中的应用，通过提出一种聚合不可知方法 FLoCoRA，我们证明该方法能够减少通信成本 4.8 倍，并且对于具有 ResNet-8 模型的 CIFAR-10 分类任务的准确度损失小于 1%。同时，我们还展示了通过引入仿射量化方案扩展该方法，将通信成本缩减 18.6 倍，与标准方法相比，对于 ResNet-18 模型的测试仍然保持不到 1% 的准确度损失。我们的研究在消息大小减小方面提供了一个强有力的基准，甚至与传统的模型压缩方法相比，同时还减少了由于低秩适应所需的训练内存。

Jun, 2024

FedRec + 是一个用于增强隐私保护和解决异构性挑战的 Federated Recommendation Systems（FRS）集成框架，通过基于特征相似性的最优子集选择生成近似最优的伪评分，利用用户本地信息，减少噪声，有效降低沟通成本，并利用 Wasserstein 距离估计每个客户端的异构性和贡献，通过解决优化问题而获得最佳聚合权重，实验证明了 FedRec + 在各种参考数据集上的卓越性能。

Oct, 2023

我们提出了一种联邦动态低秩训练 (FeDLRT) 方案，用于减少水平联邦学习中的客户端计算和通信成本，并在计算机视觉基准测试中证明了 FeDLRT 的效率。

Jun, 2024

为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

Jan, 2024

通过提出一种新的基于复制的填充策略来解决传统的联邦低秩适应方法中的稳定性问题，以实现在联邦细调过程中更好地利用高质量数据集，加速收敛速度并提高全局模型的预测质量。

Jun, 2024

提出一种基于残差的联邦学习（ResFed）框架，通过稀疏化和量化残差，实现通信效率的提高，大大减少了在无线网络中应用联邦学习所需要的大量通信成本。

Dec, 2022

在联邦学习中，通过应用稀疏性来提高 Low-rank adaptation (LoRA) 的通信效率，而不影响其性能，并且相对于现有方法具有更好的异质性和隐私保护。

Jun, 2024