CVPRApr, 2022

CD$^2$-pFed: 基于循环蒸馏引导的通道解耦，用于联邦学习中的模型个性化

PDF
TL;DRCD^2-pFed 是一个新颖的循环蒸馏引导通道解耦框架，其通过通道解耦技术为模型个性化定制来解决异质数据客户端的问题。在全面集成本地和全局模型表示期间，循环蒸馏技术能够为我们的通道解耦框架提供更准确和广泛的结果。
federated learningcd^2-pfedheterogeneous datapersonalizationchannel decoupling
发现论文，激发创造
  • FedD2S：个性化的无数据联邦知识蒸馏

    提出了一种名为 FedD2S 的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对 FedD2S 的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。

    Feb, 2024

  • MH-pFLID：医疗数据分析的模型异构个性化联合学习：注入与蒸馏

    通过使用轻量级的消息模型，Model Heterogeneous personalized Federated Learning via Injection and Distillation (MH-pFLID) 是一种新颖的联邦学习范式，用于解决在医疗应用中的系统异构、知识蒸馏和隐私问题。

    May, 2024

  • FedDC：基于本地漂移解耦和校正的非独立同分布数据联邦学习

    本文介绍了一种新的联邦学习算法，FedDC，旨在通过本地漂移重构和修正来解决客户端数据分布异质性的问题，实验结果证明 FedDC 在各种图像分类任务上具有加速收敛和更好的性能。

    Mar, 2022

  • 具有自适应个性化层的联邦分阶段解耦

    我们介绍了一种名为 FedTSDP 的两阶段解耦式联邦学习算法，其中根据推理输出和模型权重两次进行客户端聚类。采用了修正的 Hopkins 采样来确定聚类的适时，并且使用公共未标记数据的采样权重。此外，我们开发了一种简单但有效的方法，根据不同程度的数据倾斜自适应调整个性化层。实验结果表明，我们提出的方法在 IID 和非 IID 场景下具有可靠的性能。

    Aug, 2023

  • 非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

    该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

    Mar, 2022

  • DFRD：无数据的异构联邦学习鲁棒性蒸馏

    基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了 DFRD 方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明 DFRD 相较于基准模型取得了显著的性能提升。

    Sep, 2023

  • 异构数据下的联邦虚拟学习与本地全局蒸馏

    本文提出了一种新的联邦虚拟学习方法，名为 Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation (FEDLGD)，通过使用本地和全局蒸馏创建一个更小的合成数据集，以训练联邦学习，并解决了数据异构性带来的问题。实验表明，该方法在具有非常有限数量的精制虚拟数据的情况下，优于当前领先的异构 FL 算法。

    Mar, 2023

  • 个性化联邦学习的频谱辅助蒸馏

    基于模型频谱信息的新型谱蒸馏方法以及建立了通用与个性化模型训练之间的双向桥梁的共蒸馏框架，并提出了一种无等待本地训练协议，通过实验证明了这些方法的优越性和有效性。

    Jan, 2024

  • FedDistill: 全局模型蒸馏以消除非独立同分布联邦学习中的局部模型偏差

    FedDistill 是一个增强全局模型与本地模型之间知识传输的框架，专注于解决非均衡类分布的问题，通过群体蒸馏并将全局模型分解为特征提取器和分类器，确保本地模型不会忘记低频类别，而是更擅长准确识别和分类，通过全面实验验证了 FedDistill 在准确度和收敛速度上超越了现有基线模型。

    Apr, 2024

  • QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习

    本篇文章提出了一种名为 QuPeD 的基于知识蒸馏的量化个性化联邦学习算法，旨在协同处理具有不同资源和数据异构性的客户端，以便在全局级别训练多个压缩个性化模型。通过在优化过程中引入量化和知识蒸馏方法，实现了在不同的模型维度 / 结构和精度方案下的客户端个性化训练。数值实验证明了 QuPeD 在各种异构设置下优于现有联邦学习方法 FedAvg 和本地客户端训练。

    Jul, 2021