基于非独立同分布数据的鲁棒联邦学习中的对数标定

Mar, 2024

基于非独立同分布数据的鲁棒联邦学习中的对数标定

Towards Robust Federated Learning via Logits Calibration on Non-IID Data

Yu Qiao, Apurba Adhikary, Chaoning Zhang, Choong Seon Hong

TL;DR本研究采用对抗训练 (Adversarial Training, AT) 框架来提高联邦学习模型对对抗样本攻击的鲁棒性，即联邦对抗训练 (Federated Adversarial Training, FAT)；同时通过一种简单而有效的对数准确性矫正策略解决非独立同分布的数据分布问题，以提高模型鲁棒性，实验证明该策略在 MNIST、Fashion-MNIST 和 CIFAR-10 三个数据集上与多个基准模型相比在自然精度和鲁棒精度方面均表现出竞争力。

Abstract

federated learning (FL) is a privacy-preserving distributed management framework based on collaborative model training of distributed devices in edge networks. However, recent studies have shown that FL is vulnerable to

federated learning adversarial examples non-iid federated adversarial training logits calibration strategy

发现论文，激发创造

逻辑回归校准与特征对比：用于非独立同分布数据的鲁棒联邦学习

本文介绍了 LHD 的一个解决方案，名为 FatCC，通过在 local adversarial updates 过程中对 logit 进行校准，以及引入 feature contrast 的全球对齐术语，从 logit 和 feature 两个角度进一步改善联合对抗训练的稳健性和准确性。实验结果表明，与其他基线相比，FatCC 在 clean accuracy 和 robust accuracy 方面取得了可比或更高的性能提升。

Apr, 2024

CalFAT: 带标签偏斜的校准联邦对抗训练

该论文研究了在存在标签倾斜的情况下进行联邦对抗训练的问题，并提出了一种 Calibrated FAT 方法来解决非同类概率和异构本地模型引起的训练不稳定性和自然精度降低问题。该方法通过自适应地校准 logits 来实现类平衡，旨在获得更好的收敛点和客户端之间均匀的本地模型。

May, 2022

深入探讨联邦学习的对抗鲁棒性

本文研究联邦学习的对抗鲁棒性，通过各种攻击和对抗训练方法进行全面的鲁棒性评估，提出基于决策边界的联邦对抗训练算法 DBFAT，包括本地重新加权和全局正则化两个组件，实验证明在 IID 和非 IID 设置下，DBFAT 一直优于其他基准。

Feb, 2023

联邦倾斜标签学习与逻辑融合

通过在客户端引入额外的私有弱学习器与本地模型组成集成模型，FedBalance 方法能够通过融合两个模型的对数几率来纠正本地模型之间的优化偏差，从而改进本地模型的优化方向，提高少数类别的分类错误处罚并降低多数类别的注意力，从而得到更好的全局模型。

Nov, 2023

联邦对抗训练

本文介绍一种联邦对抗训练（FAT）方法，结合联邦学习和对抗训练，以降低诈骗攻击风险并在训练期间保护数据隐私，研究了对于 MNIST、Fashion-MNIST 和 CIFAR10 这几种理想的联邦学习数据集，以及在 LEAF 基准数据集上的理想设置下对于集群客户对于模型的会耗时的这种自然扩展，探讨挑战和未能在 Trimmed Mean 和 Bulyan 防御上取得的成果，但使用一种新型的蒸馏攻击，成功破解了 Krum，为防御者呈现了似乎 “强大” 的模型，实际上该模型对于简单攻击的修改并不提供鲁棒性。

Dec, 2020

自适应专家模型用于联邦学习中的个性化

该研究提出了一种针对非 IID 数据的个性化联邦学习方法，使用专家混合模型来学习相似的客户，即使在病理性非 IID 环境中，我们的方法仍然能够比本地模型获得高达 4.38％的精度优势。

Jun, 2022

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

MULTI-FLGANs：用于非独立同分布的多分布式对抗网络

提出了一种名为 MULTI-FLGAN 的新型体系结构，旨在解决非独立同分布数据集的 GAN 稳定性问题、低质量图像及模式崩溃问题，并在 20 个客户端上与基线 FLGAN 相比，稳定性和性能均提升了四倍。

Jun, 2022

Fedward：非独立同分布数据下的灵活联邦后门防御框架

提出了一个灵活的联邦后门防御框架 (Fedward)，使用放大幅度稀疏化（AmGrad）和自适应 OPTICS 聚类（AutoOPTICS）以及自适应剪裁方法来确保在保留性能的同时消除对抗性后门攻击 (FBA)，实验结果表明 Fedward 可以取得很好的防御效果。

Jul, 2023

多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

Apr, 2024