联邦式类增量学习
本文提出了一种面向联邦类增量学习的框架,利用生成模型从过去的分布中合成样本,以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题,同时解决了隐私和资源限制等联邦学习的独特复杂性,通过在多个数据集上进行广泛实验,相较于现有基准算法,我们展示了显著的改进。
Nov, 2023
为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题,提出了一种名为 TARGET 的方法,其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布,同时保护客户数据隐私,适用于数据敏感场景。
Mar, 2023
本文提出了一个基于泛化模型的联邦分类增量学习框架,可以在没有直接访问过去数据的情况下通过合成先前分布的样本,来减少来自各个用户的对策略的类别过程。
Jul, 2023
本文提出一种遗忘平衡学习模型来同时解决移动端应用中存在的类别增量问题和全局训练中跨设备的遗忘问题,该模型利用自适应的类平衡伪标签生成和任务转换监控等技术对移动端内部和跨设备遗忘问题进行了有效地解决,实验结果表明该模型的性能有了较大的提升。
Apr, 2023
本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题,通过在本地训练阶段使用生成的伪数据作为正则化器,以保护用户隐私并提高算法的收敛速度。
Mar, 2022
本文提出一种新颖的无数据的联邦类增量学习框架,使用扩散模型生成稳定、高质量的图像,通过设计新的平衡采样器、信息论的基于熵的采样过滤技术以及与基于特征的正则化项整合的知识蒸馏,来减轻灾难性遗忘和改善基于联邦学习的智能模型的准确性。
May, 2024
Federated Orthogonal Training (FOT) is a novel method proposed to address the issue of Global Catastrophic Forgetting in Continual Federated Learning (CFL), achieving higher accuracy and lower forgetting while ensuring privacy-preserving training.
Sep, 2023
通过基于 Bregman 信息的估计器计算模型的方差,在预测不确定性的度量下,我们能够找到具有特定特征的样本,并通过对这些样本进行模型重训练来减少现实情境中的遗忘效应。
May, 2024
采用新的真实数据分布,提出一种名为 FedIIC 的隐私保护框架,该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差,并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明,FedIIC 在处理两种耦合问题的同时,具有更优越的性能。
Jun, 2022