本文提出了一种适用于异构数据集的分布式学习的鲁棒性随机次梯度方法——Byzantine-Robust Stochastic Aggregation (RSA)方法，用来应对Byzantine工人的攻击。RSA方法不依赖于数据是独立同分布的假设，具有更广泛的适用性。理论上，RSA收敛到一个接近最优解的解决方案，学习错误取决于Byzantine工作人员数目，收敛速率与没有Byzantine工人的随机梯度下降方法相同。数值实验表明，RSA具有竞争性的性能和与现有算法相比较的复杂度降低。

Nov, 2018

在Federated Learning中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

Jun, 2019

本文提出了一种在恶意/拜占庭客户端存在的情况下使用本地迭代的随机梯度下降（SGD）算法来解决联邦学习的问题，通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。

Jun, 2020

针对联邦学习中的拜占庭攻击和不同数据分布下聚合规则的局限性问题，提出一种名为GAIN的梯度分解方案，能够适应异构数据集并改进现有鲁棒算法的并行训练方法。

Feb, 2023

本文研究边缘联邦学习中的随机凸和非凸优化问题，以解决处理重尾数据时现有算法的不足，并同时保持拜占庭鲁棒性，通信效率和最佳统计误差率。我们提出了两种算法，分别是具有拜占庭鲁棒性的分布式梯度下降算法，以及结合梯度压缩技术的通信开销较小的算法。理论分析表明，我们的算法在存在拜占庭设备的情况下实现了最优的统计误差率。最后，我们在合成和现实世界数据集上进行了广泛的实验，以验证算法的有效性。

Mar, 2023

本文提出了一种强大的聚合方法，用于联邦学习，可以有效地应对恶意拜占庭攻击，每个用户可以通过多个步骤来更新模型参数，然后将其直接推送到聚合中心，聚合中心利用几何中位数将用户的模型参数进行组合，并通过严格的证明表明，只要恶意攻击者的比例低于一半，我们提出的方法可以达到零最优间隔，并呈线性收敛性。数值结果验证了我们提出方法的有效性。

Aug, 2023

联邦学习系统易受到对抗攻击，本研究基于Huber损失最小化引入了一种新型聚合器，并进行了全面的理论分析，相比现有方法，我们的方法在独立同分布的假设下具有几个优势，包括对被攻击客户端比例（ε）具有最优依赖性，不需要对ε进行精确的了解，允许不同客户端具有不均等的数据规模，此外，我们还拓展了分析范围，包括非独立同分布的数据，即客户端拥有略有不同的分布。

Aug, 2023

该研究论文研究了在存在恶意拜占庭攻击和数据异质性的情况下的联邦学习。提出了一种新颖的鲁棒平均梯度算法 (RAGA)，其利用几何中位数进行聚合，并可以自由选择局部更新的轮次。通过对不仅是强凸而且非凸损失函数进行收敛性分析，以及考虑到恶意用户的数据集比例小于一半的情况下，本文论证了RAGA可以实现收敛。此外，证明了随着数据异质性消失，可以得到稳定点或全局最优解。实验结果验证了RAGA在不同强度的拜占庭攻击和异质数据集下的收敛性能优于基准方法。

Mar, 2024

通过无需辅助服务器数据集并且不受落后节点限制的拜占庭容错和异步联邦学习算法，我们的解决方案可以更快地训练模型，在梯度反转攻击下最多能保持1.54倍准确率，而在扰动攻击下最多能保持1.75倍准确率。

Jun, 2024

本研究解决了联邦学习中由于拜占庭攻击而导致的模型性能下降的问题。提出的创新性在于针对鲁棒性协议（RoFL）的两个Sybil攻击，分析了其优缺点，并提出了未来测试和改进的建议。这项研究的发现有助于提高联邦学习框架在面对恶意攻击时的鲁棒性。

Oct, 2024