Mar, 2023

异构数据下的联邦虚拟学习与本地全局蒸馏

PDF
TL;DR本文提出了一种新的联邦虚拟学习方法，名为 Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation (FEDLGD)，通过使用本地和全局蒸馏创建一个更小的合成数据集，以训练联邦学习，并解决了数据异构性带来的问题。实验表明，该方法在具有非常有限数量的精制虚拟数据的情况下，优于当前领先的异构 FL 算法。
发现论文，激发创造
  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023

  • 非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

    该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

    Mar, 2022

  • 异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

    该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

    Jun, 2021

  • 自适应自蒸馏下的异构数据联邦学习

    提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态 - of-the-art FL 算法中，显著提高算法的性能。

    May, 2023

  • 通过深度生成潜变量进行数据集精炼的联邦学习潜力释放

    基于深度生成模型的高效联邦学习数据集精简框架，在服务器端显著减少本地设备的计算和通信需求，提高客户端隐私，同时有效降低资源利用，通过理论分析和实证证据验证了其在高度异构的联邦学习环境中相较于非数据集精简技术的优越性，准确性提升高达 40%，超过已有的数据集精简方法 18%。

    Dec, 2023

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • FedDistill: 全局模型蒸馏以消除非独立同分布联邦学习中的局部模型偏差

    FedDistill 是一个增强全局模型与本地模型之间知识传输的框架，专注于解决非均衡类分布的问题，通过群体蒸馏并将全局模型分解为特征提取器和分类器，确保本地模型不会忘记低频类别，而是更擅长准确识别和分类，通过全面实验验证了 FedDistill 在准确度和收敛速度上超越了现有基线模型。

    Apr, 2024

  • 通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

    本文提出一种名为 FedND 的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

    Jun, 2023

  • 异构联邦学习的零数据知识蒸馏

    该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

    May, 2021

  • DFRD：无数据的异构联邦学习鲁棒性蒸馏

    基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了 DFRD 方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明 DFRD 相较于基准模型取得了显著的性能提升。

    Sep, 2023