本研究提出了一种名为 FedLoGe 的方法,通过在神经坍塌框架中集成表示学习和分类器对齐,提高了本地和通用模型的性能,从而加强了分布式长尾学习中全局模型和本地模型的表现。
Jan, 2024
我们提出了一种新的联邦学习方法,通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时,在凸和非凸情况下实现了高效训练。
Nov, 2021
动态分层联邦学习系统可以通过利用分层学习的概念,将全局模型的不同部分分配给不同层次的客户端,并通过基于本地损失的训练使每个客户端可以并行更新模型,从而减少资源受限设备上计算和通信的需求,缓解迟到问题,从而显著减少训练时间并保持模型准确性。
Dec, 2023
在联邦推荐系统中,通信成本是一个关键瓶颈,该研究提出了一种名为 Correlated Low-rank Structure (CoLR) 的新框架,通过调整轻量级可训练参数并保持大部分参数冻结,大幅降低通信开销并与安全聚合协议兼容。该方法在数据集范围内减少了高达 93.75% 的负载大小,仅导致推荐性能下降约 8%。
提出了一种适用于资源受限和异构设备的参数高效的基于异构低秩近似的本地设备上基金会模型(ODFMs)的联邦微调方法,通过在客户端间采用异构秩以消除同质化呈现性的缺点,结合高秩和低秩近似的优点,加速了收敛速度和最终性能,并保护数据隐私。
通过提出一种新的基于复制的填充策略来解决传统的联邦低秩适应方法中的稳定性问题,以实现在联邦细调过程中更好地利用高质量数据集,加速收敛速度并提高全局模型的预测质量。
Jun, 2024
本文提出了一种称为 Federated Dynamic Sparse Training(FedDST)的 novel FL 框架,旨在动态提取和训练目标网络中的稀疏子网络,并实现了在设备计算和网络通信方面的高效,相对于固定稀疏掩模的方法,它在本地异质性适应和 FL 性能方面具有较大的优势,在非 i.i.d FL 设置下,FedDST 在数据传输上的表现显著优于竞争性算法。
Dec, 2021
基于数据异构和模型异构的联邦学习场景中,使用无数据的知识蒸馏机制提出了 DFRD 方法,在服务器上通过条件生成器逼近客户端上传的本地模型训练空间,并通过动态加权和标签采样准确提取本地模型的知识,实验证明 DFRD 相较于基准模型取得了显著的性能提升。
Sep, 2023
分布式优化中的 Federated Learning 及其改进方法 DANE 和 FedRed 的关键词与摘要。
Apr, 2024
本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题,通过在本地训练阶段使用生成的伪数据作为正则化器,以保护用户隐私并提高算法的收敛速度。
Mar, 2022