Dec, 2023

知识融合的联邦持续学习：综述

PDF
TL;DRFederated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data privacy and silos, by fusing heterogeneous knowledge from different clients and retaining knowledge of previous tasks while learning on new ones, through methods such as synchronous FCL and asynchronous FCL.
data privacysilosfederated learningcontinual learningknowledge fusion
发现论文，激发创造
  • 自适应优化解决联邦渐进学习中的客户漂移问题

    本文提出了一种 Federated Continual Learning（FCL）系统，用于解决连续学习中的客户端漂移问题，并使用自适应联邦优化来减少其不良影响。作者进一步评估了该框架的可扩展性、对客户端数据分布失衡的鲁棒性以及对固定时间的影响。

    Mar, 2022

  • 选择性内部节点传输的联邦连续学习用于文本分类

    本文提出了一种名为 FedSeIT 的框架，用于在云边界连续性中的文本分类任务中，通过选择性地结合外部客户的模型参数来最大化知识传输并提高表现，采用 Federated Learning 和 Continual Learning 两种范例，以在客户端之间进行有效的知识传递

    Oct, 2022

  • 变分贝叶斯与联邦连续学习

    通过引入联邦贝叶斯神经网络（FedBNN）的连续框架，本研究通过将本地和历史数据分布的知识持续集成到单个模型中，从而在学习新的数据分布的同时保留了对历史分布的性能，实现了在联邦学习和持续学习中降低遗忘的最先进结果。

    May, 2024

  • 基于知识蒸馏的分布式连续学习在普适计算中的应用

    本文提出了一种基于蒸馏的联邦继续学习方法，通过使用定期收集的客户端数据逐步适应接收到的模型，以减少存储数据的量，避免灾难性遗忘问题，并在人类活动识别领域进行了评估。

    Jul, 2022

  • 解决联邦持续学习中的灾难性遗忘问题

    为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题，提出了一种名为 TARGET 的方法，其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布，同时保护客户数据隐私，适用于数据敏感场景。

    Mar, 2023

  • 联邦学习新趋势：从模型融合到联邦 X 学习

    在机器学习中，联邦学习是一种新的学习范式，可以通过多方计算和模型聚合来解耦数据采集和模型训练。本文针对联邦学习与其他学习算法相结合的场景进行了调研，并探讨了各种学习算法，以改进平均算法。此外，本文还介绍了模型融合方法和联邦学习与多任务学习、元学习、迁移学习、无监督学习和强化学习相交的领域。综述当前现状、挑战和未来方向。

    Feb, 2021

  • 持续联邦学习的更好的生成式回放方法

    本文介绍了在分布式系统中进行不间断联邦学习的问题，并提出 FedCIL 模型以解决由于在非独立同分布数据上进行分布式训练而导致的不稳定训练过程所造成的明显性能下降，FedCIL 模型采取了模型合并和一致性执行这两种有效的鲁棒性解决方案。

    Feb, 2023

  • 持续本地训练以改进联邦模型的初始化

    本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

    May, 2020

  • 参数化联合持续学习与可复现研究

    我们提出了一个可完全配置的框架 Freddie，用于解决分布式连续学习领域中存在的性能问题，该框架结合了实验最佳实践，能在大量机器上无缝部署，并通过两个使用案例验证了其有效性。

    Jun, 2024

  • 联邦连续学习在线进行：利用不确定性进行模态无关的类增量学习

    通过基于 Bregman 信息的估计器计算模型的方差，在预测不确定性的度量下，我们能够找到具有特定特征的样本，并通过对这些样本进行模型重训练来减少现实情境中的遗忘效应。

    May, 2024