KDDJun, 2024

参数化联合持续学习与可复现研究

PDF
TL;DR我们提出了一个可完全配置的框架 Freddie，用于解决分布式连续学习领域中存在的性能问题，该框架结合了实验最佳实践，能在大量机器上无缝部署，并通过两个使用案例验证了其有效性。
federated learning (fl)continual learningexperimental best practicesframeworkfederated continual learning (fcl)
发现论文，激发创造
  • 知识融合的联邦持续学习：综述

    Federated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data privacy and silos, by fusing heterogeneous knowledge from different clients and retaining knowledge of previous tasks while learning on new ones, through methods such as synchronous FCL and asynchronous FCL.

    Dec, 2023

  • 面向时间演变异构数据的联邦学习

    本研究提出 Continual Federated Learning (CFL) 框架来处理时变异构数据，该框架可以从过去的本地数据集中提取信息和逼近本地目标函数，从而比之前的 FL 方法在复杂和现实场景下具有更快的收敛速度。

    Dec, 2021

  • 持续联邦学习的更好的生成式回放方法

    本文介绍了在分布式系统中进行不间断联邦学习的问题，并提出 FedCIL 模型以解决由于在非独立同分布数据上进行分布式训练而导致的不稳定训练过程所造成的明显性能下降，FedCIL 模型采取了模型合并和一致性执行这两种有效的鲁棒性解决方案。

    Feb, 2023

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 混合联邦与集中式学习

    提出一种混合联邦和集中式学习（HFCL）框架，采用先进的数据传输方法并在计算资源不足时使用集中式学习方法，以有效地训练学习模型，并在所有客户端合作的同时提高学习准确度。

    Nov, 2020

  • 用层次生成原型来减少联邦式增量学习中的偏见

    该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法，从而提高全局模型的预测准确性，并在平均准确率上提供了 7.9% 的增加。

    Jun, 2024

  • 选择性内部节点传输的联邦连续学习用于文本分类

    本文提出了一种名为 FedSeIT 的框架，用于在云边界连续性中的文本分类任务中，通过选择性地结合外部客户的模型参数来最大化知识传输并提高表现，采用 Federated Learning 和 Continual Learning 两种范例，以在客户端之间进行有效的知识传递

    Oct, 2022

  • 基于知识蒸馏的分布式连续学习在普适计算中的应用

    本文提出了一种基于蒸馏的联邦继续学习方法，通过使用定期收集的客户端数据逐步适应接收到的模型，以减少存储数据的量，避免灾难性遗忘问题，并在人类活动识别领域进行了评估。

    Jul, 2022

  • 联邦与集中式学习的混合架构

    本文提出了一种更高效的混合联邦与集中学习（HFCL）方法来解决客户端计算资源不足的情况，该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器，从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。

    May, 2021

  • 异步联邦持续学习

    本文提出了一种名为 FedSpace 的解决异步时间段下面向多任务连续学习问题的方法，它基于原型学习、表示损失、分形预训练和改进聚合策略，在 Cifar-100 数据集上得到了有效的应用。

    Apr, 2023