Jun, 2023

HePCo: 数据无关的异构提示整合用于连续联邦学习

PDF
TL;DR本文针对连续联邦学习中广泛存在、但鲜有研究的 “灾难性遗忘” 和数据异质性问题，提出一种基于提示的、轻量级的生成与蒸馏方案实现客户端模型同步，此方案仅需要发送提示和分类器头，不需要存储任何数据，实验结果表明在 CIFAR-100、ImageNet-R、DomainNet 等数据集上同时显著提升了性能并极大地减少了通信和客户端计算成本。
continual federated learningcatastrophic forgettingdata heterogeneityprompting-based approachclient model consolidation
发现论文，激发创造
  • 面向时间演变异构数据的联邦学习

    本研究提出 Continual Federated Learning (CFL) 框架来处理时变异构数据，该框架可以从过去的本地数据集中提取信息和逼近本地目标函数，从而比之前的 FL 方法在复杂和现实场景下具有更快的收敛速度。

    Dec, 2021

  • 基于知识蒸馏的分布式连续学习在普适计算中的应用

    本文提出了一种基于蒸馏的联邦继续学习方法，通过使用定期收集的客户端数据逐步适应接收到的模型，以减少存储数据的量，避免灾难性遗忘问题，并在人类活动识别领域进行了评估。

    Jul, 2022

  • 联邦式增量类别学习与提示

    提出了一种名为 FCILPT 的新方法，通过使用提示来减轻旧类别的灾难性遗忘，将与任务相关和任务不相关的知识编码到提示中，解决了非独立分布的数据和新类别的到来所导致的问题。在 CIFAR-100、Mini-ImageNet 和 Tiny-ImageNet 的实验证明 FCILPT 相比现有方法取得了显著的准确性改进。

    Oct, 2023

  • 知识融合的联邦持续学习：综述

    Federated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data privacy and silos, by fusing heterogeneous knowledge from different clients and retaining knowledge of previous tasks while learning on new ones, through methods such as synchronous FCL and asynchronous FCL.

    Dec, 2023

  • 解决联邦持续学习中的灾难性遗忘问题

    为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题，提出了一种名为 TARGET 的方法，其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布，同时保护客户数据隐私，适用于数据敏感场景。

    Mar, 2023

  • 持续联邦学习的更好的生成式回放方法

    本文介绍了在分布式系统中进行不间断联邦学习的问题，并提出 FedCIL 模型以解决由于在非独立同分布数据上进行分布式训练而导致的不稳定训练过程所造成的明显性能下降，FedCIL 模型采取了模型合并和一致性执行这两种有效的鲁棒性解决方案。

    Feb, 2023

  • FLASH：跨同时异质环境的联邦学习

    FLASH 是一个轻量级、灵活的客户端选择算法，通过权衡与客户端数据质量、数据分布和延迟相关的统计信息来优化各种异质性源，从而在广泛的异质性源下优于最先进的 FL 框架。

    Feb, 2024

  • 联邦正交训练：在连续联邦学习中减轻全局性灾难性遗忘

    Federated Orthogonal Training (FOT) is a novel method proposed to address the issue of Global Catastrophic Forgetting in Continual Federated Learning (CFL), achieving higher accuracy and lower forgetting while ensuring privacy-preserving training.

    Sep, 2023

  • 联邦视觉任务中缓解灾难性遗忘的无数据方法

    本文提出了一种面向联邦类增量学习的框架，利用生成模型从过去的分布中合成样本，以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题，同时解决了隐私和资源限制等联邦学习的独特复杂性，通过在多个数据集上进行广泛实验，相较于现有基准算法，我们展示了显著的改进。

    Nov, 2023

  • 个性化联邦持续学习多层粒度提示

    个性化联邦连续学习是一个新的实际场景，对于知识的共享和个性化提出了挑战。我们提出了一种多粒度提示的方法，通过协同模型学习获得粗粒度全局提示，用于高效传输共享的全局知识，并通过细粒度的本地提示个性化学习以克服时序遗忘。我们还设计了一种选择性提示融合机制，通过独特的粗粒度知识融合实现了共享知识的传输和提炼，从而提高了个性化性能。实验结果表明，我们的方法在解决空时遗忘和改善个性化性能方面是有效的。

    Jun, 2024