在联邦推荐系统中，通信成本是一个关键瓶颈，该研究提出了一种名为 Correlated Low-rank Structure (CoLR) 的新框架，通过调整轻量级可训练参数并保持大部分参数冻结，大幅降低通信开销并与安全聚合协议兼容。该方法在数据集范围内减少了高达 93.75% 的负载大小，仅导致推荐性能下降约 8%。

Jan, 2024

提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

May, 2023

我们提出了一种联邦动态低秩训练 (FeDLRT) 方案，用于减少水平联邦学习中的客户端计算和通信成本，并在计算机视觉基准测试中证明了 FeDLRT 的效率。

Jun, 2024

使用零阶优化技术以及一组随机种子，FedKSeed 提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估 ZOO 扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。

Dec, 2023

本研究提出了一族 Federated Newton Learn 方法，它不仅能够使用于广义线性模型，还可应用于压缩本地 Hessians 等通用收缩压缩算子，具有隐私增强和通信效率等优点，并以实验证明了其与关键基线相比具有卓越的通信复杂度。

Jun, 2021

Pa3dFL 是一个增强容量异构模型的新型框架，通过解耦和选择性地在容量异构模型之间共享知识，提高了本地模型的性能。通过将模型的每个层分解为通用参数和个性参数，并保持通用参数在客户端之间的统一大小并进行直接平均聚合，然后使用可学习的嵌入通过超网络为客户端生成大小变化的个性参数，最后通过自注意模块通过聚合客户端嵌入来实现个性参数的隐式聚合。通过在三个数据集上进行的广泛实验，我们的研究结果表明 Pa3dFL 在不同的异构设置下始终优于基准方法。此外，与基准方法相比，Pa3dFL 表现出竞争性的通信和计算效率，突显了它在不利系统条件下的实用性和适应性。

May, 2024

本文提出了一种名为 PerAda 的参数高效的 Federated Learning 框架，采用预训练模型，使用少量适配器参数进行通信，实现了与基线方法相比更好的个性化性能和广义性能，尤其是在测试时分布发生变化的情况下。

Feb, 2023

通过减少可训练参数，我们提出了一种基于模拟退火的联邦学习与低秩适应（SA-FedLoRA）方法，旨在在大规模预训练模型的微调中实现更高的收敛性和通信效率。实验结果表明，SA-FedLoRA 在联邦学习中是一种高效的方法，相比 FedAvg，可以达到更好的性能，通信参数减少高达 93.62％。

May, 2024

本研究介绍了一种名为 FedNew 的新型框架，通过引入两级框架、替换传统方法中需要从客户端传输 Hessian 信息的环节等方式解决了低通信效率、低隐私性等问题，并使用随机量化等方式将通信开销显著降低，在实际数据集上的实验显示出了优于现有方法的性能。

Jun, 2022

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022