Nov, 2022

基于代表共享的可扩展协作学习

PDF
TL;DR通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。
privacy-preserving machine learningonline knowledge distillationcontrastive lossfeature representationscollaborative learning
发现论文，激发创造
  • 面向隐私保护的联邦学习进展：从联邦学习到分裂学习

    该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

    Nov, 2020

  • SplitFed: 联邦学习与 Split Learning 相遇

    本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法，它将 Federated learning (FL) 和 Split learning (SL) 相结合，解决了它们各自固有的缺点，并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间，并具有与 SL 相似的测试准确性和通信效率，非常适用于资源受限的环境中。

    Apr, 2020

  • 高效异构联邦学习：一种基于匹配和分割学习的方法

    提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

    Aug, 2023

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 关于分散式联邦学习的调查

    去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

    Aug, 2023

  • 隐私保护合奏关注蒸馏的联邦学习

    本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏，利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据，显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验，证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。

    Oct, 2022

  • 评估和优化物联网分布式机器学习技术

    该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能，并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现，同时还提出实用技巧来大幅减少通信开销。

    Mar, 2021

  • 通过输入输出协作蒸馏的联邦学习

    基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

    Dec, 2023

  • SplitFed Learning 的安全性分析

    本文首次对 SplitFed 的强韧性进行了实证分析，结果表明 SplitFed 在面对模型毒化攻击时降低精度的程度是 Federated Learning 的 1/5，这是由于 SplitFed 具有较小的维度和更高的抗攻击能力。

    Dec, 2022

  • 面向通信高效和隐私保护的联邦表示学习

    本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

    Sep, 2021