Sep, 2021

联邦侦察：高效、分布式、分类增量学习

PDF
TL;DR在分布式客户端独立地学习新概念并高效地交流知识的计算机学习问题中，我们提出了一种评估框架和方法基线，比较了学习算法并发现原型网络是一种强大的方法，其对灾难性遗忘具有鲁棒性，并高效地合并新信息。我们证明，原型向量的在线平均是有效的客户端模型合并，每个类别只需要很少的通信开销，内存和更新时间而无需梯度学习或超参数调整。
federated reconnaissancedistributed clientslearning algorithmsprototypical networkscontinual learning
发现论文，激发创造
  • 原型有助于联邦学习：朝着更快的收敛方向

    该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

    Mar, 2023

  • 用层次生成原型来减少联邦式增量学习中的偏见

    该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法，从而提高全局模型的预测准确性，并在平均准确率上提供了 7.9% 的增加。

    Jun, 2024

  • 异步联邦持续学习

    本文提出了一种名为 FedSpace 的解决异步时间段下面向多任务连续学习问题的方法，它基于原型学习、表示损失、分形预训练和改进聚合策略，在 Cifar-100 数据集上得到了有效的应用。

    Apr, 2023

  • FedProto: 跨异构客户端的联邦原型学习

    该论文提出了一种新的联邦原型学习 (FedProto) 框架，借助全局原型而不是梯度来弥补跨客户端的异质性，从而提高局部模型的性能。

    May, 2021

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 联邦视觉任务中缓解灾难性遗忘的无数据方法

    本文提出了一种面向联邦类增量学习的框架，利用生成模型从过去的分布中合成样本，以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题，同时解决了隐私和资源限制等联邦学习的独特复杂性，通过在多个数据集上进行广泛实验，相较于现有基准算法，我们展示了显著的改进。

    Nov, 2023

  • FedProK: 基于样本原型特征知识迁移的可信联邦增量学习

    Federated Class-Incremental Learning (FCIL) aims to improve trustworthiness by transferring knowledge using FedProK, a method that leverages prototypical feature knowledge transfer, demonstrating superior performance in spatial-temporal knowledge transfer.

    May, 2024

  • 基于交替客户端的医学图像联邦学习性能和可扩展性研究

    本文介绍了关于联邦学习的理论方面，提出了一个聚合算子和不同类型的联邦学习，针对客户端数据分布要考虑的问题进行了详尽的分析，并提出了胸部 X 光图像分析的使用案例。针对训练数据中的不同客户端进行了模拟，并考虑了中断客户端所带来的不同问题及其解决方案。比较了集中式方法、三个客户端和十个客户端的预测结果，结果显示联邦学习在保护隐私以及提高预测准确性、降低运行时间方面具有很好的效果。最后，提出了未来工作和改进方向。

    Jul, 2022

  • 知识融合的联邦持续学习：综述

    Federated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data privacy and silos, by fusing heterogeneous knowledge from different clients and retaining knowledge of previous tasks while learning on new ones, through methods such as synchronous FCL and asynchronous FCL.

    Dec, 2023

  • FedRFQ: 减少冗余、最小化故障和提升质量的基于原型的联邦学习

    FedRFQ 是一种基于样本原型的联邦学习方法，旨在减少冗余、最小化失效，并提高质量。通过使用 SoftPool 机制有效地减少非独立同分布数据中的原型冗余和失效。此外，还引入了 BFT-detect 算法以确保 FedRFQ 对抗攻击和服务器故障的安全性。实验结果表明，当处理非独立同分布数据时，FedRFQ 在准确性方面优于现有基准。

    Jan, 2024