异构环境下的健壮联邦学习

Jun, 2019

Robust Federated Learning in a Heterogeneous Environment

Avishek Ghosh, Justin Hong, Dong Yin, Kannan Ramchandran

TL;DR在 Federated Learning 中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

Abstract

We study a recently proposed large-scale distributed learning paradigm, namely federated learning, where the worker machines are end users' own devices. Statistical and computational challenges arise in federated learni

federated learning heterogeneous data distribution byzantine machines cluster structure optimally

发现论文，激发创造

带有噪声标签的鲁棒联邦学习

提出了一种新的联邦学习方案，其中服务器与本地模型合作，通过交换类别的中心来保持一致的决策边界，实现了在网络中使用带有给定噪声的标签的一致决策边界。同时，还提出了选择有自信的样本来更新模型以及全局引导的伪标签方法来更新不自信的样本标签。在嘈杂的 CIFAR-10 数据集和 Clothing1M 数据集上的实验证明，该方法在使用有噪声的标签的联邦学习中非常有效。

Dec, 2020

鲁棒的网络联邦学习用于定位

本文提出了一种在分布式子梯度框架中采用 L1 范数鲁棒性公式的方法来解决分布式环境中的定位问题，并通过数值模拟验证了该方法在异常值较多的环境中的优越性能。

Aug, 2023

通过自适应模型平均实现拜占庭鲁棒的联邦机器学习

本文介绍了一种名为自适应联邦平均的新型算法，该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量，并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者，从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。

Sep, 2019

通过分桶在异构数据集上进行拜占庭容错学习

在分布式或联邦学习中，我们提出了一种新的攻击方案和简单分层计算机制，并且在实验证明了此方法的有效性并保证了在异构数据集下的收敛性。

Jun, 2020

带噪声通信的鲁棒联邦学习

本研究提出一种鲁棒的联邦学习方案，通过并行优化、正则化等方法减小噪声影响，并从理论角度分析了其收敛性和准确性改善，仿真实验进一步验证了该方案的有效性。