提出了一种名为联邦蒸馏(FD)的分布式模型训练算法,其通信负载大小比联邦学习(FL)小得多,尤其是当模型大小较大时,并提出了一种名为联邦增强(FAug)的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明,采用 FD 和 FAug 可以减少约 26 倍的通信开销,同时实现 95-98% 的测试精度。
Nov, 2018
本研究提出了一种名为 Memory-augmented Impatient Federated Averaging (MIFA)的算法来应对 Federated Learning 中设备不可用的问题,该算法有效地避免了不活跃设备带来的过度延迟,并使用从设备中记忆的最新更新来校正梯度偏差,并证明了 MIFA 在强凸和非凸顺滑函数的非独立同分布数据上实现了极小化最优收敛率。经过实验验证,该算法真实世界数据集取得了良好的结果。
Jun, 2021
本研究开发了一种隐私保护的 XOR 混合数据增强技术,名为 XorMixup,并提出了一种新颖的一次性联邦学习框架,称为 XorMixFL,以解决用户生成的数据在设备和标签之间的不平衡问题,通过对其它设备的编码数据进行解码,迭代生成 IID 样本集,以保证数据隐私同时提高了非 IID 数据集下的学习精度。
Jun, 2020
本文提出了一个通用框架,通过使用分布式鲁棒优化和混合技术来解决联合学习中数据异质性和数据噪声的两个挑战,并在多个药物发现任务中进行了实证研究。
Apr, 2022
我们介绍了一种在硬件受限环境中用于实现客户端适应性的隐私保护、资源高效的联邦学习概念。通过在源数据上进行服务器模型预训练,并在低端客户端上对目标数据进行细调,我们的方法通过从源域和目标域数据近似的实例级特征统计的概率混合来简化本地客户端适应过程。适应参数传回到中央服务器后进行全局聚合,初步结果表明我们的方法在保持竞争性性能的同时降低了计算和传输成本。
Dec, 2023
该研究提出了一种基于混合模型假设的联邦多任务学习方法,该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛,同时在联邦学习基准测试中获得了更高的准确性和公平性。
Aug, 2021
本文提出了一种新的联邦学习范例,名为联邦互助学习(FML),以处理三种不同类型的异质性,允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。
本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
Nov, 2021
本文提出了一种基于梯度遮蔽平均的联邦学习方法,该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制,避免因为主导客户端的偏见导致的信息损失和泛化性能不佳,实验证明该方法在非独立同分布数据集上提供了一致的改进。
Jan, 2022
提出 Mix2FLD,一个新的通讯高效且隐私保护的分布式机器学习框架,用于解决上下行容量不对称问题。混合线性上传本地样本,并在服务器上反混合不同设备的样本,以保持隐私并提高准确性和收敛速度。在不对称上下行信道下,与联邦学习相比,Mix2FLD 可以使测试准确率提高多达 16.7%,收敛时间减少多达 18.8%。