非独立同分布数据上克服联邦学习中的遗忘问题

Oct, 2019

非独立同分布数据上克服联邦学习中的遗忘问题

Overcoming Forgetting in Federated Learning on Non-IID Data

Neta Shoham, Tomer Avidor, Aviv Keren, Nadav Israel, Daniel Benditkis...

TL;DR本文介绍了一种解决在非 i.i.d 情况下的联邦学习中局部模型漂移导致学习受阻的问题的方法，通过在损失函数中加入惩罚项，强制所有的局部模型收敛到共同的最优值，将 Catastrophic forgetting 的解决方案应用到联邦学习中，并证明这可以在分布式环境下高效地完成，通信量随节点数扩大而扩展，对于 MNIST 数据集的图像识别，该方法优于竞争对手。

Abstract

We tackle the problem of federated learning in the non i.i.d. case, in which local models drift apart, inhibiting learning. Building on an

federated learning non i.i.d catastrophic forgetting local models mnist dataset

发现论文，激发创造

非独立同分布数据上的联邦学习：调查

本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

Jun, 2021

联邦视觉任务中缓解灾难性遗忘的无数据方法

本文提出了一种面向联邦类增量学习的框架，利用生成模型从过去的分布中合成样本，以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题，同时解决了隐私和资源限制等联邦学习的独特复杂性，通过在多个数据集上进行广泛实验，相较于现有基准算法，我们展示了显著的改进。

Nov, 2023

非独立同分布数据下的联邦学习

本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

Jun, 2018

回顾：联邦学习中的理解和减轻遗忘

研究探索了联邦学习中遗忘现象对算法收敛的影响，引入了度量遗忘程度的指标，并提出了一种动态蒸馏方法的联邦学习算法 Flashback，以提高模型聚合的效果和减少遗忘现象，实现更快的收敛速度和准确性。

Feb, 2024

多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

Apr, 2024

本地训练中减轻遗忘的联邦学习加速

本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题，通过在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。

Mar, 2022

通过漂移正则化的非独立同分布数据上的联邦学习

在异构环境中，我们提出了一个名为 LfD（Learning from Drift）的方法，通过漂移估计和漂移正则化两个关键组件，该方法有效地在训练模型时防止性能下降，并在非独立同分布（Non-IID）数据的联邦学习中表现出优越性。

Sep, 2023

解决联邦持续学习中的灾难性遗忘问题

为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题，提出了一种名为 TARGET 的方法，其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布，同时保护客户数据隐私，适用于数据敏感场景。

Mar, 2023

主动遗忘的联邦取消学习

基于增量学习、主动遗忘和弹性权重约束的新型联邦遗忘框架，有效解决联邦学习中的遗忘问题。

Jul, 2023

FedCD: 非独立同分布联邦学习性能改进

提出 FedCD 方法，将模型动态地克隆和删除以将设备分组，实现在非独立同分布的数据上高精度和更快的收敛。

Jun, 2020