高维统计学习中分布式梯度下降的安全保障
本文研究在对抗性场景下，如何以拜占庭容错的方式进行分布式统计机器学习，以解决联邦学习中受到威胁的问题。我们提出了一种基于梯度汇聚的方法，在容忍拜占庭故障的同时，实现了参数的准确估计，算法的时间复杂度为$O((Nd/m)logN)$，通信成本为$O(md logN)$。此外，我们还将该方法应用于线性回归问题。
May, 2017
本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。
Mar, 2018
该研究探讨了在Byzantine设置下使用鞍点来最小化非凸损失函数的鲁棒分布式学习算法，提出了一种名为ByzantinePGD的算法来逃脱鞍点并收敛到真实局部最小值，通过三种鲁棒梯度估计器的性能特征，论证了它们在低维和高维时的近最优性。
Jun, 2018
研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。
May, 2020
本文提出了一种在恶意/拜占庭客户端存在的情况下使用本地迭代的随机梯度下降（SGD）算法来解决联邦学习的问题，通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。
Jun, 2020
我们设计了一个适用于高维问题的新方法，可以在任意数量的拜占庭攻击者下进行高效分布式学习，并采用半验证的均值估计方法实现，通过从工作机上传的梯度向量估计均值值的分量以及通过辅助数据集估计子空间内的分量，最终以我们的新方法作为分布式学习聚合器。理论分析表明，该新方法具有极小极大统计速率，并且与之前的方法相比，在维度依赖性方面得到了显着改进。
Jul, 2023
SABLE是第一种完全同态和拜占庭鲁棒分布式学习算法，基于新颖的明文编码方法，在图像分类任务上通过实验证明了其在实际执行时间方面的实用性和匹配非隐私算法的机器学习性能。
Sep, 2023
通过HIDRA攻击揭示了维度独立偏差的强防守的实际可能存在的漏洞，这对维度高的聚合算法设计提出了挑战，并暗示了这一领域中中毒攻击与可证明的防御之间的竞争仍然悬而未决。
Dec, 2023
本文针对分布式学习中拜占庭鲁棒性和通信效率的关键挑战，提出了一种新颖的随机分布式学习方法。该方法不对批大小有要求，能够收敛到比现有方法更小的解邻域，同时通过利用Polyak动量来减轻偏置压缩器和随机梯度带来的噪声，展现出显著的实用价值和理论优势。
Sep, 2024