- 联邦学习中的梯度泄漏
该研究全面研究了联邦学习系统中梯度反演攻击的实际效用,通过对该攻击在实践中的限制进行理论和实证评估,揭示了梯度反演攻击在实际情境下的局限性,并提出了一些有效的防御措施。
- KnFu: 有效的知识融合
分散学习、联邦知识蒸馏和模型漂移是关键词,本文提出了一种有效的知识融合算法,通过分析本地模型的知识有效性来实现个性化知识融合,实验证明在拥有大规模和高度异构的本地数据集的情况下,本地训练可能优于基于知识融合的解决方案。
- FedComLoc: 通信高效的稀疏与量化模型的分布式训练
我们引入 FedComLoc 算法,集成了实用和有效的压缩技术到 Scaffnew 算法中,以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验,证明了在异构环境中大幅减少通信开销的能力。
- LoCoDL: 通讯高效的分布式学习与本地训练压缩
分布式优化和学习,尤其是在联邦学习的现代框架中,通信对于慢速和昂贵的问题至关重要。我们介绍了一种名为 LoCoDL 的通信高效算法,它利用了本地训练和压缩这两种常用且有效的技术,通过降低通信频率和发送短的比特流而不是完整的浮点数向量。LoC - SCAFFLSA: 量化和消除联邦式线性随机逼近和时序差异学习中的异质性偏差
本文对联邦线性随机逼近(FedLSA)算法进行了非渐进分析,定量化了异质代理的本地训练引入的偏差,并调查了算法的样本复杂度。我们展示了 FedLSA 的通信复杂度与所需精度 ε 的多项式缩放,从而限制了联邦的好处。为了克服这一问题,我们提出 - 在大规模联邦学习中利用函数空间聚合
该研究提出了一种名为 FedFish 的聚合算法,通过在函数空间中计算 Fisher 信息的估计,将客户端学习到的函数本地逼近进行聚合,并在大规模跨设备基准测试中验证了其性能优于 FedAvg,尤其在本地训练迭代次数增加时。
- 用于复杂结构化医疗任务的本地大型语言模型
本论文介绍了一种将大型语言模型(LLMs)的语言推理能力与本地训练的优势相结合的方法,以解决复杂的领域特定任务。通过从病理报告中提取结构化病情编码,作者演示了他们的方法。研究结果表明,基于 LLaMA 的模型在所有评估指标上明显优于 BER - FedCME: 处理联邦学习中的数据异质性的客户端匹配和分类器交换
研究团队提出了一种名为 FedCME 的基于客户端匹配和分类器交换的新型联邦学习框架,在本地训练阶段,具有大量数据分布差异的客户将成对匹配,并在一个中间时刻交换分类器。
- 联邦学习中的显式个性化和本地化训练:倍增通讯加速
Scafflix 是一种新算法,它将显式个性化与本地训练有效地集成,利用这两种技术实现了双倍加速的通信,这一方法旨在实现 Federated Learning 中客户端个性化的联合学习。
- 反向链接:具有监督的本地训练
该工作提出了一种新型的本地化训练算法,BackLink,它引入了模块间的反向依赖关系,采用了一定的误差传播长度限制,并在深卷积神经网络中进行了广泛的实验,表明我们的方法通过提高分类性能来改善本地培训算法。
- 自我感知个性化联邦学习
本论文提出了一种自我感知的个性化联邦学习方法,通过采用贝叶斯分层模型,利用不确定性量化来平衡本地模型改进和全局模型调整,使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究,该方法显著提高了个性化性能。
- PPFL: 基于可信执行环境的隐私保护联邦学习
该论文提出并实现了一种基于隐私保护联合学习(PPFL)的框架,旨在通过利用受信任的执行环境(TEEs)对客户端进行本地训练,通过 TEEs 对服务器进行安全聚合,从而在联合学习中限制隐私泄漏,并达到显著的隐私保护与可比较的模型效用提升。
- 移动边缘网络联邦学习的基于年龄的调度策略
本文基于更新时效度(AoU)提出了一种调度策略,该策略可以同时考虑接收参数的陈旧度和即时信道质量,以提高联邦学习的运行效率,并通过蒙特卡罗模拟验证了算法的有效性。