Nov, 2022

HFedMS: 工业虚拟世界中具有可记忆数据语义的异构联邦学习

PDF
TL;DR本文提出了一个高性能和高效的系统 HFEDMS，用于将实践的 Federated Learning 纳入工业元宇宙，克服了非独立和非同分布数据、学习遗忘和通信成本等挑战，通过动态分组和训练模式转换、语义压缩和补偿以及层间备用同步协议等技术，使得 FL 更加适应于工业设备连续产生的异构流数据，并且比传统方法更加高效和精确。
federated learningindustrial metaversenon-i.i.d. datadynamic sequential-to-parallel trainingsemantic compression and compensation
发现论文，激发创造
  • 医学影像中数据和模型异质性的联邦学习

    本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

    Jul, 2023

  • 异构数据感知联邦学习

    本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

    Nov, 2020

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024

  • pFedES: 模型异构个性化的联邦学习与特征提取器共享

    提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了 pFedES 能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES 构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了 1.61%，通信和计算成本分别降低了 99.6% 和 82.9%。

    Nov, 2023

  • 非独立分布联邦学习的特征匹配数据合成

    通过生成合成数据来处理非独立和不同分布的数据之间的困难，从而提出了一种硬特征匹配数据合成方法以及一个数据增强的联邦学习框架来缓解数据异质性， 理论分析和模拟结果验证了提出的方法在解决非独立数据挑战方面的有效性。

    Aug, 2023

  • 联邦互助学习

    本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

    Jun, 2020

  • 異構聯邦學習中以歷史為鑑

    该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。

    Dec, 2023

  • MH-pFLID：医疗数据分析的模型异构个性化联合学习：注入与蒸馏

    通过使用轻量级的消息模型，Model Heterogeneous personalized Federated Learning via Injection and Distillation (MH-pFLID) 是一种新颖的联邦学习范式，用于解决在医疗应用中的系统异构、知识蒸馏和隐私问题。

    May, 2024

  • FedH2L：具有模型和统计异质性的联邦学习

    该论文提出了 FedH2L 方法，通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。

    Jan, 2021

  • 元宇宙中的联邦学习：综述

    本文介绍了基于联邦学习的元宇宙研究，探讨了数据隐私保护、计算效率、边缘计算和区块链等方面对元宇宙发展的重要性，并对联邦学习在元宇宙中的应用和前景进行了探讨。

    Mar, 2023