May, 2024

分布式持续学习

PDF
TL;DR分布式继续学习研究了多智能体在其环境中独立面对独特任务并逐步开发和分享知识的交叉点。通过引入数学框架，捕捉了分布式继续学习的关键方面，包括智能体模型和统计异质性、持续分布转移、网络拓扑和通信限制。我们提出了三种信息交换模式：数据实例，完整模型参数和模块化（部分）模型参数，并对每种共享模式开发了相应的算法，并在各种数据集、拓扑结构和通信限制下进行了广泛的实证研究。我们的研究结果揭示了三个关键见解：随着任务的复杂化，参数共享比数据共享更加高效；模块化参数共享在最小化通信成本的同时，提供了最佳性能；结合多种共享模式可以累积改善性能。
发现论文，激发创造
  • 知识融合的联邦持续学习：综述

    Federated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data privacy and silos, by fusing heterogeneous knowledge from different clients and retaining knowledge of previous tasks while learning on new ones, through methods such as synchronous FCL and asynchronous FCL.

    Dec, 2023

  • 基于知识蒸馏的分布式连续学习在普适计算中的应用

    本文提出了一种基于蒸馏的联邦继续学习方法，通过使用定期收集的客户端数据逐步适应接收到的模型，以减少存储数据的量，避免灾难性遗忘问题，并在人类活动识别领域进行了评估。

    Jul, 2022

  • 自适应优化解决联邦渐进学习中的客户漂移问题

    本文提出了一种 Federated Continual Learning（FCL）系统，用于解决连续学习中的客户端漂移问题，并使用自适应联邦优化来减少其不良影响。作者进一步评估了该框架的可扩展性、对客户端数据分布失衡的鲁棒性以及对固定时间的影响。

    Mar, 2022

  • 点对点联邦学习中的持续学习：自动脑转移识别研究

    本研究证明了持续学习可以提高数据有限的中心的脑转移识别性能，可以实现多中心协作的点对点联邦学习的可行性，共享中间模型而不是训练数据可以促进深度学习算法的多中心协作。

    Apr, 2022

  • 基于元学习的任务无关持续学习

    本文提出了一个框架，用于解决神经网络在数据分布不稳定时的忘记问题，该框架结合了元学习和持续学习技术的优点，避免了对任务边界的先验知识，并重点关注了如何更快地恢复性能。在监督学习情境下，我们展示了该框架的应用和效果。

    Jun, 2019

  • 一种蒸馏为基础的方法，用于集成连续学习和联邦学习，用于普及服务

    本篇论文提出了一种基于蒸馏的方法，用于解决联邦学习场景中的灾难性遗忘问题，以人类活动识别任务作为演示领域。

    Sep, 2021

  • 异步联邦持续学习

    本文提出了一种名为 FedSpace 的解决异步时间段下面向多任务连续学习问题的方法，它基于原型学习、表示损失、分形预训练和改进聚合策略，在 Cifar-100 数据集上得到了有效的应用。

    Apr, 2023

  • 持续联邦学习的更好的生成式回放方法

    本文介绍了在分布式系统中进行不间断联邦学习的问题，并提出 FedCIL 模型以解决由于在非独立同分布数据上进行分布式训练而导致的不稳定训练过程所造成的明显性能下降，FedCIL 模型采取了模型合并和一致性执行这两种有效的鲁棒性解决方案。

    Feb, 2023

  • 连续学习：特征提取形式化、有效算法和基本障碍

    本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。

    Mar, 2022

  • 自然分布偏移下的在线持续学习：基于视觉数据的实证研究

    该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

    Aug, 2021