StatAvg：在联邦学习中减轻入侵检测系统中的数据异质性

May, 2024

StatAvg：在联邦学习中减轻入侵检测系统中的数据异质性

StatAvg: Mitigating Data Heterogeneity in Federated Learning for Intrusion Detection Systems

Pavlos S. Bouzinis, Panagiotis Radoglou-Grammatikis, Ioannis Makris, Thomas Lagkas, Vasileios Argyriou...

TL;DR本文提出了一种称为 StatAvg 的有效方法，以缓解 FL 客户端之间分布不独立和不完全相同的特征，通过在 FL 实际训练过程之前，让 FL 客户端与服务器共享数据统计信息并进行全局统计归一化，实验证明 StatAvg 相对于基准方法在缓解 FL 客户端之间分布不独立的特征方面的效率。

Abstract

federated learning (FL) is a decentralized learning technique that enables participating devices to collaboratively build a shared Machine Leaning (ML) or Deep Learning (DL) model without revealing their raw data to a third party. Due to its privacy-preserving nature, FL has sparked wi

federated learning intrusion detection systems statistical averaging non-iid feature distributions cybersecurity

发现论文，激发创造

Dirichlet 分布异构数据的 FedAvg 和 Per-FedAvg 算法的比较评估

该研究调查了联邦学习（FL）这一机器学习范式，允许在不共享原始数据的设备上进行分散模型训练，从而保护数据隐私。我们比较了该范式内的两种策略：联邦平均（FedAvg）和个性化联邦平均（Per-FedAvg），重点关注它们在非独立同分布数据（Non-IID）条件下的性能。我们的分析显示，使用狄利克雷分布建模的数据异质性水平显著影响两种策略的性能，在高异质性条件下，Per-FedAvg 表现出更强的健壮性。我们的结果为在分散环境下开发更有效和高效的机器学习策略提供了见解。

Sep, 2023

利用联邦学习进行工业物联网边缘设备网络的无监督异常检测

通过使用联邦学习方法中的 Fedavg 算法解决了物联网设备中涉及的隐私问题，并提出了一个公平的 Fedavg 算法以解决在训练过程中出现的不公平问题。

Aug, 2023

FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

May, 2020

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

统计异质性变化下联邦学习环境的优化

本文通过对三个数据集上的不同统计异质性水平进行的联邦学习训练参数和聚合器的经验分析，提出了一种系统的数据分区策略来模拟不同统计异质性水平，并引入了一种衡量独立同分布程度的度量标准。此外，还基于不同特征的数据集，实证确定了最佳的联邦学习模型和关键参数。最终，我们针对不同独立同分布程度和数据集提出了优化模型性能的联邦学习参数和聚合器的推荐指南。

Jun, 2024

基于梯度蒙版的联邦学习平均化

本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

Jan, 2022

联邦贝叶斯深度学习：统计聚合方法在贝叶斯模型中的应用

通过分析六种不同的聚合策略，我们使用独立同分布（IID）和非独立同分布（non-IID）的 CIFAR-10 数据集以及完全变种 ResNet-20 结构来构建贝叶斯深度学习（DL）模型的联邦学习（FL）系统的关键超参数，从而影响准确性、校准性、不确定性量化、训练稳定性和客户端计算要求。

Mar, 2024

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

预处理联邦学习

在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

Sep, 2023

异构和相关客户端的联邦学习

本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

Jan, 2023