Oct, 2022

领域差异感知蒸馏：联邦学习模型聚合

PDF
TL;DR本文针对 Federated Learning 领域中存在的不同数据集之间的 Domain Discrepancy 挑战，分析了来源于知识蒸馏模型的聚合模型的泛化界限，并提出了一种基于 Domain Discrepancy Aware Distillation 的自适应知识聚合算法 FedD3A 来降低该界限，并在两个流行的跨域数据集上验证了该算法的有效性。
knowledge distillationfederated learningdomain discrepancyadaptive knowledge aggregation algorithmcross-domain datasets
发现论文，激发创造
  • 基于知识蒸馏的异构联邦学习

    通过使用双向知识蒸馏方法，在具有不同性能的一部分客户端上训练较大的模型和整体池上训练较小的模型，实现不同领域之间的模型域转移，从而提高联邦平均算法的性能。该方法在图像分类和语言建模任务中表现出改进的效果，即使只有领域外或领域内有限的蒸馏数据可用。

    Oct, 2023

  • 探索无代理数据联邦蒸馏中分布式知识一致性

    本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

    Apr, 2022

  • 异构联邦学习的零数据知识蒸馏

    该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

    May, 2021

  • KD3A: 通过知识蒸馏进行无监督多源去中心化域自适应

    KD3A 是一种隐私保护的多源领域自适应算法，它通过对来自不同源域的模型进行知识蒸馏来实现域适应，并采用多源知识投票、共识聚焦和 BatchNorm MMD 等方法解决了常规 UMDA 方法中存在的负迁移、安全通信和数据质量等问题，同时相对于其他分散式 UMDA 方法可降低 100 倍的通信成本，且表现也显著优于现有 UMDA 方法。

    Nov, 2020

  • FedDisco：基于 Discrepancy-Aware 协作的联邦学习

    本研究考虑联邦学习领域的类别分布异质性问题，提出了一种基于数据集大小和局部与全局类别分布差异值的聚合权重调整方法（FedDisco），该方法在隐私保护、通信和计算效率上表现优异。

    May, 2023

  • FedSDD：面向联邦学习模型聚合的可扩展和多样性增强蒸馏

    我们提出了一种可扩展和多样性增强的联邦蒸馏方案 FedSDD，通过将教师模型构建成由少量聚合（全局）模型组成的集合而不是所有客户模型，以增强可伸缩性，并从一组具有增强多样性的聚合模型构建集合，从而提高了整体和主要全局模型的性能，FedSDD 在基准数据集上表现优于其他联邦学习方法，包括 FedAvg 和 FedDF。

    Dec, 2023

  • 通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

    本文提出一种名为 FedND 的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

    Jun, 2023

  • 非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

    该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

    Mar, 2022

  • 具有领域泛化的联邦学习

    提出了 FedADG 方法，利用联邦对抗学习来实现域泛化，通过将每个分布与参考分布匹配，逐个类别进行对齐来细粒度地对齐分布，学习到的特征表示可以很好地泛化到未见过的域。

    Nov, 2021

  • BERT 无监督领域自适应的知识蒸馏

    利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

    Oct, 2020