网络容错和拜占庭鲁棒的社交学习通过协作层次非贝叶斯学习
本文研究了拜占庭协作学习问题,提出了一种新的协议 —— 平均协议,并给出了两种异步算法:基于最小直径平均和可靠广播和坐标裁剪平均,它们分别对应对节点个数和对拜占庭容错度的要求,并证明它们是最优的。
Aug, 2020
本文针对分布式学习中的安全问题,提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法,并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率,并且进一步提出了一种基于中位数的分布式算法,可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率,实现更好的通信效率。
Mar, 2018
本文提出了一种简单的分层系统结构,利用参数服务器对信息交换进行协调,引入创新性的分层推送和局部梯度下降来加速状态估计,特别是在状态跟踪中,我们通过引入额外的变量,使相关的局部变量根据状态动态演化。
Jun, 2023
本文提出了一种在恶意 / 拜占庭客户端存在的情况下使用本地迭代的随机梯度下降(SGD)算法来解决联邦学习的问题,通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。
Jun, 2020
本文研究边缘联邦学习中的随机凸和非凸优化问题,以解决处理重尾数据时现有算法的不足,并同时保持拜占庭鲁棒性,通信效率和最佳统计误差率。我们提出了两种算法,分别是具有拜占庭鲁棒性的分布式梯度下降算法,以及结合梯度压缩技术的通信开销较小的算法。理论分析表明,我们的算法在存在拜占庭设备的情况下实现了最优的统计误差率。最后,我们在合成和现实世界数据集上进行了广泛的实验,以验证算法的有效性。
Mar, 2023
通过提取与神经网络拓扑特定的一定侧面信息,我们提出了一种混合稀疏拜占庭攻击,该攻击由两部分组成:一部分表现出稀疏特性,只攻击具有较高敏感性的神经网络位置,另一部分更加隐匿且随着时间积累,理想上每部分针对不同类型的防御机制,二者共同形成一种强大但不易察觉的攻击。最后,通过广泛模拟证明了所提出的混合拜占庭攻击对 8 种不同的防御方法是有效的。
Apr, 2024
在 Federated Learning 中,我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上,我们提出了一个优化算法来解决该问题,并获得了比非拜占庭鲁棒算法更好的估计误差。
Jun, 2019
本论文研究了异构多智能体系统的合作控制问题,提出了一种基于数字孪生概念的分层协议,有效解决了 Byzantine 攻击问题并通过数值实验得到验证。
Mar, 2023
本文介绍了一种 Bayesian nonparametric framework,用于 federated learning 问题,其通过 neural networks 对每个数据服务器提供的本地权值进行建模,并且提出了一种推理方法,以在单个通信回合或很少的通信回合中合成更多表达性的全局网络。这种方法在两个流行的图像分类数据集的 federated learning 问题上得到了很好的应用效果。
May, 2019