具有新类增强式自蒸馏的联邦增量学习

Jan, 2024

具有新类增强式自蒸馏的联邦增量学习

Federated Class-Incremental Learning with New-Class Augmented Self-Distillation

Zhiyuan Wu, Tianliu He, Sheng Sun, Yuwei Wang, Min Liu...

TL;DR我们提出了一种新颖的联邦类增量学习方法（FCIL），命名为具有新类增强的自我蒸馏（FedNASD）。FedNASD 通过将当前模型推断的新类分数与历史模型的预测相结合，基于过去和现在的知识，它在客户端上进行自我蒸馏，旨在实现从历史模型到当前模型的有效知识转移。理论分析表明，在没有新类的情况下，FedNASD 等效地对旧类分数建模为条件概率。此外，它通过将新类的预测与当前模型相结合，以修正历史得分的条件概率，在不存在新类的情况下。经验实验表明，FedNASD 在降低平均遗忘率和提高全局准确性方面优于其他四种基准算法。

Abstract

federated learning (FL) enables collaborative model training among participants while guaranteeing the privacy of raw data. Mainstream FL methodologies overlook the dynamic nature of real-world data, particularly its tendency to grow in volume and diversify in classes over time. This o

federated learning federated class-incremental learning catastrophic forgetting new-class augmented self-distillation knowledge transfer

发现论文，激发创造

基于扩散生成记忆的无数据联邦类增量学习

本文提出一种新颖的无数据的联邦类增量学习框架，使用扩散模型生成稳定、高质量的图像，通过设计新的平衡采样器、信息论的基于熵的采样过滤技术以及与基于特征的正则化项整合的知识蒸馏，来减轻灾难性遗忘和改善基于联邦学习的智能模型的准确性。

May, 2024

自适应自蒸馏下的异构数据联邦学习

提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态 - of-the-art FL 算法中，显著提高算法的性能。

May, 2023

联邦式类增量学习

本文提出了一种全局 - 本地遗忘补偿（GLFC）模型，以解决联邦学习中的灾难性遗忘问题，包括本地遗忘和全局遗忘，并考虑到了隐私和类别不平衡等问题。

Mar, 2022

利用 FedNAS 进行非 IID 和隐形数据的联邦深度学习：神经结构搜索

研究表明基于分布式的 Federated Learning 在处理数据分布不一致的情况下存在结构不适配的情况，提出基于 Neural Architecture Search 的 Federated NAS 算法来自动化协作搜索模型架构以提高模型精度和减少手动设计工作，在非独立同分布数据集上实验结果表明 FedNAS 所搜索到的模型架构胜过手动预设的模型架构。

Apr, 2020

联邦视觉任务中缓解灾难性遗忘的无数据方法

本文提出了一种面向联邦类增量学习的框架，利用生成模型从过去的分布中合成样本，以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题，同时解决了隐私和资源限制等联邦学习的独特复杂性，通过在多个数据集上进行广泛实验，相较于现有基准算法，我们展示了显著的改进。

Nov, 2023

无噪音异构客户端的联邦学习谨慎学习

本篇论文提出了一种名为 FedCNI 的方法，通过使用噪声鲁棒局部求解器和强健的全局聚合器，在 Federated learning 的小规模本地数据集中解决标签噪声和类别不平衡带来的挑战，并在混合异构 FL 场景中实现了比现有技术更好的性能。

Apr, 2023

通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

本文提出一种名为 FedND 的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

Jun, 2023

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

异构数据下的联邦虚拟学习与本地全局蒸馏

本文提出了一种新的联邦虚拟学习方法，名为 Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation (FEDLGD)，通过使用本地和全局蒸馏创建一个更小的合成数据集，以训练联邦学习，并解决了数据异构性带来的问题。实验表明，该方法在具有非常有限数量的精制虚拟数据的情况下，优于当前领先的异构 FL 算法。

Mar, 2023

用层次生成原型来减少联邦式增量学习中的偏见

该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法，从而提高全局模型的预测准确性，并在平均准确率上提供了 7.9% 的增加。

Jun, 2024