Mar, 2023

基于 Digital Twin 的异构联邦学习知识蒸馏框架

PDF
TL;DR本文提出了一种基于知识蒸馏的联邦学习训练框架，利用数据孪生技术在服务器上训练大型教师模型，解决设备资源受限和异构性问题，并将联合问题建模为混合整数规划问题，使用 Q - 学习进行模型选择和本地或服务器训练决策，并基于优化分配用户的资源，仿真结果显示该方法显著提高了用户平均精度，同时减少了总延迟。
federated learningknowledge distillationdigital twinmixed integer programmingoptimization
发现论文，激发创造
  • 异构联邦学习的零数据知识蒸馏

    该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

    May, 2021

  • 联邦知识蒸馏

    介绍了分布式学习中一种名为 Federated Distillation 的解决方案，实现了模型参数的共享，通过知识蒸馏、共同蒸馏等算法，交换神经网络模型的输出，提高了通信效率，并展示了其在不同任务和环境下的适用性。

    Nov, 2020

  • 联邦学习中的知识蒸馏：长期挑战和新解决方案综述

    本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战，并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。

    Jun, 2024

  • 联邦蒸馏：调查

    该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

    Apr, 2024

  • 面向非独立同分布数据的基于标签的联邦学习知识蒸馏

    提出一种名为 Full-stack FL 的新型联邦学习框架，通过使用分层网络架构和标签驱动的知识蒸馏技术，解决大规模 IoT 网络下的可扩展性问题和异构数据环境下的鲁棒性问题，从而在所有全局蒸馏中显著提高了联邦学习的效率。

    Sep, 2022

  • FedDKD：基于分散式知识蒸馏的联邦学习

    在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD 在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。

    May, 2022

  • 基于知识蒸馏的模型无关联合学习

    该研究考虑设计一个通用的 API 用于联邦学习，但发现大多数基于知识蒸馏的联邦学习协议表现不佳，因此提出了一个新的理论框架（联邦核岭回归）来解决模型和数据异构性的问题，并根据知识蒸馏设计了新的协议，通过实验验证了该框架的理论预测。

    Oct, 2021

  • 知识蒸馏增强的数字孪生在异常检测中的应用

    提出了一种名为 KDDT 的新方法用于列车控制和管理系统 (TCMS) 的异常检测，该方法利用语言模型 (LM) 和长短期记忆 (LSTM) 网络来提取背景和时间特征，在实证研究中，KDDT 表现出了卓越的性能。

    Sep, 2023

  • KnFu: 有效的知识融合

    分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

    Mar, 2024

  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023