联邦视觉任务中缓解灾难性遗忘的无数据方法

Nov, 2023

联邦视觉任务中缓解灾难性遗忘的无数据方法

A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks

Sara Babakniya, Zalan Fabian, Chaoyang He, Mahdi Soltanolkotabi, Salman Avestimehr

TL;DR本文提出了一种面向联邦类增量学习的框架，利用生成模型从过去的分布中合成样本，以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题，同时解决了隐私和资源限制等联邦学习的独特复杂性，通过在多个数据集上进行广泛实验，相较于现有基准算法，我们展示了显著的改进。

Abstract

deep learning models often suffer from forgetting previously learned information when trained on new data. This problem is exacerbated in federated learning (FL), where the data is distributed and can change independently for each user. Many solutions are proposed to resolve this

deep learning models federated learning catastrophic forgetting federated class incremental learning superimagenet

发现论文，激发创造

不记忆，模仿历史：无序列记忆联邦类迭代学习

本文提出了一个基于泛化模型的联邦分类增量学习框架，可以在没有直接访问过去数据的情况下通过合成先前分布的样本，来减少来自各个用户的对策略的类别过程。

Jul, 2023

基于扩散生成记忆的无数据联邦类增量学习

本文提出一种新颖的无数据的联邦类增量学习框架，使用扩散模型生成稳定、高质量的图像，通过设计新的平衡采样器、信息论的基于熵的采样过滤技术以及与基于特征的正则化项整合的知识蒸馏，来减轻灾难性遗忘和改善基于联邦学习的智能模型的准确性。

May, 2024

联邦式类增量学习

本文提出了一种全局 - 本地遗忘补偿（GLFC）模型，以解决联邦学习中的灾难性遗忘问题，包括本地遗忘和全局遗忘，并考虑到了隐私和类别不平衡等问题。

Mar, 2022

解决联邦持续学习中的灾难性遗忘问题

为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题，提出了一种名为 TARGET 的方法，其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布，同时保护客户数据隐私，适用于数据敏感场景。

Mar, 2023

联邦连续学习在线进行：利用不确定性进行模态无关的类增量学习

通过基于 Bregman 信息的估计器计算模型的方差，在预测不确定性的度量下，我们能够找到具有特定特征的样本，并通过对这些样本进行模型重训练来减少现实情境中的遗忘效应。

May, 2024

用层次生成原型来减少联邦式增量学习中的偏见

该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法，从而提高全局模型的预测准确性，并在平均准确率上提供了 7.9% 的增加。

Jun, 2024

非独立同分布数据上克服联邦学习中的遗忘问题

本文介绍了一种解决在非 i.i.d 情况下的联邦学习中局部模型漂移导致学习受阻的问题的方法，通过在损失函数中加入惩罚项，强制所有的局部模型收敛到共同的最优值，将 Catastrophic forgetting 的解决方案应用到联邦学习中，并证明这可以在分布式环境下高效地完成，通信量随节点数扩大而扩展，对于 MNIST 数据集的图像识别，该方法优于竞争对手。

Oct, 2019

面向高效联邦增量学习的回放技术研究

在边缘客户端存储空间有限的增量学习环境中，通过使用一种名为 Re-Fed 的简单通用框架，协调每个客户端缓存重要样本进行回放，从而研究了数据异质性对联邦增量学习中灾难性遗忘的影响，并从理论和实证结果上证明了 Re-Fed 相对于最先进方法具有竞争性的性能。

Mar, 2024

Always Be Dreaming: 无数据增量学习的新方法

本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表现出优异的性能。

Jun, 2021

零数据增量学习的类印象

提出了一种新型的、无需实际数据的分类增量学习框架，采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象，采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能，将该方法与现有方法进行比较实验，并在诊断心脏超声图像方面取得了很好的效果。

Jun, 2022