带加权跨设备传输的联邦式连续学习

ICMLMar, 2020

带加权跨设备传输的联邦式连续学习

Federated Continual Learning with Weighted Inter-client Transfer

Jaehong Yoon, Wonyong Jeong, Giwoong Lee, Eunho Yang, Sung Ju Hwang

TL;DR这篇论文提出了一种新的基于权重的、面向联邦持续学习的框架，旨在解决在每个客户端从私有本地数据流中学习一系列任务的情况下，如何使用其他客户端的知识并防止不相关的知识干扰的问题。FedWeIT 取得了优秀的学习成果和通信代价的显著降低，是现有联邦学习和持续学习方法的重要改进。

Abstract

There has been a surge of interest in continual learning and federated learning, both of which are important in deep neural networks in real-world scenarios. Yet little research has been done regarding the scenar

federated learning continual learning neural networks inter-client transfer communication cost reduction

发现论文，激发创造

选择性内部节点传输的联邦连续学习用于文本分类

本文提出了一种名为 FedSeIT 的框架，用于在云边界连续性中的文本分类任务中，通过选择性地结合外部客户的模型参数来最大化知识传输并提高表现，采用 Federated Learning 和 Continual Learning 两种范例，以在客户端之间进行有效的知识传递

Oct, 2022

FewFedWeight：针对多个 NLP 任务的 Few-shot 联邦学习框架

FewFedWeight 是跨多个任务的 few-shot 联邦学习框架，通过在隔离设备上训练客户端模型，广播全局模型并为客户端生成伪数据，同时使用能量算法对伪样本进行加权，动态聚合客户端模型的自适应模型权重更新全局模型，可显著提高客户端模型的性能。

Dec, 2022

自适应优化解决联邦渐进学习中的客户漂移问题

本文提出了一种 Federated Continual Learning（FCL）系统，用于解决连续学习中的客户端漂移问题，并使用自适应联邦优化来减少其不良影响。作者进一步评估了该框架的可扩展性、对客户端数据分布失衡的鲁棒性以及对固定时间的影响。

Mar, 2022

不同领域间的跨边界联邦学习及参数迭代对齐

通过改进典型的联邦学习模型，我们提出了一种新的框架，称为迭代参数对齐，它通过优化每个参与者的模型以实现灵活的跨分散数据集学习，并且在不同数据域上表现出竞争力和鲁棒性。

Nov, 2023

增量迁移学习综述：将点对点联邦学习与领域增量学习结合以实现多中心协作

由于数据隐私限制，多个临床中心之间的数据共享受限制，这阻碍了通过多中心合作开发高性能深度学习模型的进展。本文通过使用持续学习技术，将点对点联邦学习和领域增量学习相结合，进行增量迁移学习，以克服数据隐私问题并同时保持模型性能。进行了一项针对多中心合作的不同基于正则化的持续学习方法效果的全面调查，对数据异质性、分类器设置、网络优化器、模型初始化、中心顺序和权重传递类型的影响进行了彻底研究。我们的框架对研究社区是公开可访问的，以进行进一步的开发。

Sep, 2023

知识融合的联邦持续学习：综述

Federated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data privacy and silos, by fusing heterogeneous knowledge from different clients and retaining knowledge of previous tasks while learning on new ones, through methods such as synchronous FCL and asynchronous FCL.

Dec, 2023

权重插值的持续学习

该研究提出了一种利用权重融合方法的持续学习新方法，通过在每个新任务之后插值旧模型和新模型的权重，将两个模型合并，以便探索新概念到来后出现的局部最小值。实验结果表明，提出的权重融合方法明显改善了最先进的经验重放算法的性能。

Apr, 2024

持续联邦学习的更好的生成式回放方法

本文介绍了在分布式系统中进行不间断联邦学习的问题，并提出 FedCIL 模型以解决由于在非独立同分布数据上进行分布式训练而导致的不稳定训练过程所造成的明显性能下降，FedCIL 模型采取了模型合并和一致性执行这两种有效的鲁棒性解决方案。

Feb, 2023

异步联邦持续学习

本文提出了一种名为 FedSpace 的解决异步时间段下面向多任务连续学习问题的方法，它基于原型学习、表示损失、分形预训练和改进聚合策略，在 Cifar-100 数据集上得到了有效的应用。

Apr, 2023

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020