Mar, 2024

FedSR: 面向 IoT 系统中的非独立同分布的半分散式联邦学习算法

PDF
TL;DR在工业物联网中，由于隐私和安全问题，很难将大量数据集中到一起训练深度学习模型，因此联邦学习，一种保护数据隐私的分布式机器学习范式，在物联网中得到广泛应用。然而，在实际的联邦学习中，数据分布通常在设备之间存在较大差异，数据的异构性将对模型的性能产生不利影响。此外，物联网中的联邦学习通常涉及大量设备的训练，而云服务器的通信资源有限成为训练的瓶颈。为了解决上述问题，本文将集中式联邦学习与分散式联邦学习相结合，设计了一种半分散式边缘云设备层次化联邦学习框架，可以缓解数据异构性的影响，并且能够在物联网中大规模部署。为了解决数据异构性的影响，我们在每个环状集群中使用了增量次梯度优化算法来改善环状集群模型的泛化能力。我们的大量实验证明，我们的方法可以有效缓解数据异构性的影响，并减轻云服务器中的通信瓶颈。
发现论文，激发创造
  • 智能 IoT 应用的个性化联邦学习：一种基于云边的框架

    本文提出了一种基于云边架构的个性化联邦学习框架，以解决在物联网环境下的设备、统计和模型异构性，能够为智能物联网应用提供高效时延和低延迟的处理能力，并使用人类活动识别案例研究证明了个性化联邦学习在智能物联网应用中的有效性。

    Feb, 2020

  • 非独立同分布数据下的联邦学习

    本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

    Jun, 2018

  • 工业物联网中基于组客户端选择的数据异构鲁棒联邦学习

    本文提出了一个基于云边端的联邦学习框架 FedGS，利用分层结构和梯度二元置换算法选择工厂内的子设备，构建同质化的超级节点参与联邦学习训练，采用复合步骤同步协议协调这些超级节点内部和之间的培训过程，以提高在非独立同分布数据上的工业联邦学习性能，实验表明，FedGS 相对于传统方法在提高准确性上有着更高的效率和效果，同时可以适应动态的环境，同时确保了数据的安全性。

    Feb, 2022

  • 物联网联邦学习：最近进展、分类和开放挑战

    本文介绍了联邦学习在物联网应用中的先进发展，提出了一系列度量标准以进行严格评估，设计出了物联网网络上的联邦学习分类法，并提出了比联邦学习更好的隐私保护的分散联邦学习的两种用例，最后提出了一些开放性研究挑战和可能的解决方案。

    Sep, 2020

  • 基于神经网络的新型不平衡和非独立同分布数据的联邦学习系统

    通过提出集中式的、基于神经网络的联邦学习系统，利用边缘计算减少中央服务器的负载，同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。

    Nov, 2023

  • 分布式联邦学习：愿景、分类和未来方向

    本文提出一种基于去中心化的分布式联邦学习（DFL）概念，旨在实现 IoT 智能应用的隐私保护与训练效率。文章首先介绍了 DFL 的基础，其次提出了一个包含匹配理论解决方案的 DFL 框架，最后展望了未来研究方向。

    Aug, 2020

  • 边缘网络联邦学习：资源优化和激励机制

    本文提出在网络边缘实现联合学习的设计方面，使用建模激励交互的方式来推动设备的参与，同时列举了几个未解决的研究挑战和未来研究方向。

    Nov, 2019

  • 非独立同分布数据上的联邦学习：调查

    本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

    Jun, 2021

  • 带异构标签和模型的资源受限联邦学习

    本文提出了一个应对标签异质性的框架，该框架通过简单的 α 加权联邦聚合计算分数获得了最多 16.7% 的平均确定性准确性提高，并在树莓派 2 上进行了实验以演示其设备内功能。

    Nov, 2020

  • 资源受限 IoT 设备的联邦学习：全景和现状

    提出了一种叫做联邦学习的分散式学习结构，该结构可以在物联网设备中实现机器学习，通过处理来自不同客户端的数据，以预测未来事件。此方法可解决传统机器学习中遇到的通信开销、隐私泄露和安全性等问题，同时也避免了中央服务器的使用。本文讨论了在客户端资源有限的情况下实施联邦学习的挑战和应用。

    Feb, 2020