解决联邦持续学习中的灾难性遗忘问题

Mar, 2023

解决联邦持续学习中的灾难性遗忘问题

Addressing Catastrophic Forgetting in Federated Class-Continual Learning

Jie Zhang, Chen Chen, Weiming Zhuang, Lingjuan Lv

TL;DR为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题，提出了一种名为 TARGET 的方法，其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布，同时保护客户数据隐私，适用于数据敏感场景。

Abstract

This paper focuses on an under-explored yet important problem: Federated Class-continual learning (FCCL), where new classes are dynamically added in federated learning. Existing FCCL works suffer from various lim

federated learning continual learning data privacy catastrophic forgetting non-iid data

发现论文，激发创造

不记忆，模仿历史：无序列记忆联邦类迭代学习

本文提出了一个基于泛化模型的联邦分类增量学习框架，可以在没有直接访问过去数据的情况下通过合成先前分布的样本，来减少来自各个用户的对策略的类别过程。

Jul, 2023

联邦式类增量学习

本文提出了一种全局 - 本地遗忘补偿（GLFC）模型，以解决联邦学习中的灾难性遗忘问题，包括本地遗忘和全局遗忘，并考虑到了隐私和类别不平衡等问题。

Mar, 2022

联邦视觉任务中缓解灾难性遗忘的无数据方法

本文提出了一种面向联邦类增量学习的框架，利用生成模型从过去的分布中合成样本，以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题，同时解决了隐私和资源限制等联邦学习的独特复杂性，通过在多个数据集上进行广泛实验，相较于现有基准算法，我们展示了显著的改进。

Nov, 2023

联邦连续学习在线进行：利用不确定性进行模态无关的类增量学习

通过基于 Bregman 信息的估计器计算模型的方差，在预测不确定性的度量下，我们能够找到具有特定特征的样本，并通过对这些样本进行模型重训练来减少现实情境中的遗忘效应。

May, 2024

联邦正交训练：在连续联邦学习中减轻全局性灾难性遗忘

Federated Orthogonal Training (FOT) is a novel method proposed to address the issue of Global Catastrophic Forgetting in Continual Federated Learning (CFL), achieving higher accuracy and lower forgetting while ensuring privacy-preserving training.

Sep, 2023

知识融合的联邦持续学习：综述

Federated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data privacy and silos, by fusing heterogeneous knowledge from different clients and retaining knowledge of previous tasks while learning on new ones, through methods such as synchronous FCL and asynchronous FCL.

Dec, 2023

自适应分类标准在任务增量连续学习中缓解灾难性遗忘

本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

May, 2023

选择性内部节点传输的联邦连续学习用于文本分类

本文提出了一种名为 FedSeIT 的框架，用于在云边界连续性中的文本分类任务中，通过选择性地结合外部客户的模型参数来最大化知识传输并提高表现，采用 Federated Learning 和 Continual Learning 两种范例，以在客户端之间进行有效的知识传递

Oct, 2022

用层次生成原型来减少联邦式增量学习中的偏见

该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法，从而提高全局模型的预测准确性，并在平均准确率上提供了 7.9% 的增加。

Jun, 2024

HePCo: 数据无关的异构提示整合用于连续联邦学习

本文针对连续联邦学习中广泛存在、但鲜有研究的 “灾难性遗忘” 和数据异质性问题，提出一种基于提示的、轻量级的生成与蒸馏方案实现客户端模型同步，此方案仅需要发送提示和分类器头，不需要存储任何数据，实验结果表明在 CIFAR-100、ImageNet-R、DomainNet 等数据集上同时显著提升了性能并极大地减少了通信和客户端计算成本。

Jun, 2023