May, 2024

工业物联网中可靠的被动无线感知的压缩贝叶斯联邦学习

PDF
TL;DR采用通信高效的去中心化贝叶斯联邦学习策略，通过集成压缩策略和允许设备在发送本地后验分布之前执行多个优化步骤，以减少通信开销而不牺牲学习准确性和校准，得到与传统（未压缩）贝叶斯联邦学习工具相兼容且高度准确且良好校准的机器学习模型的工业物联网应用实例结果表明，该方法在校准方面具有优势，特别是在测试数据集的统计分布发生变化时。
bayesian federated learningcommunication-efficient decentralizedcompression policiesindustrial internet of thingscalibration
发现论文，激发创造
  • 面向轻量通信设计的联邦学习压缩

    本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

    Oct, 2023

  • HCFL: 面向非常大规模 IoT 网络的通信效率高的联邦学习高压缩方法

    本文提出了一种称为高压缩联邦学习的压缩方案，可应用于大规模物联网网络中的协作学习，以减少通信成本并提高学习过程的适应性，并探索了物联网设备数量与 FL 模型收敛水平之间的关系。

    Apr, 2022

  • 无线网络上高效计算与通信的联邦学习

    通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

    Sep, 2023

  • 高失真率压缩辅助联邦学习的资源分配

    提出基于压缩辅助的联邦学习问题，通过将其分解为子问题并基于协作博弈来有效分配无线资源，从而优化了 IoT 设备和服务器之间的通信，通过积极控制参与学习的设备数量，既可避免训练发散又能保持通信效率。

    Jun, 2022

  • 个性化联邦学习与通信压缩

    本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型，以解决数据异质性带来的问题，并对新算法 Loopless Gradient Descent 进行了压缩优化，实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 vanilla SGD。

    Sep, 2022

  • 合作设备的联邦学习：大规模物联网网络的共识方法

    这篇论文介绍了一种完全分布式的联邦学习算法，该算法的优点在于避免了数据披露并具有扩展性商用前景，可以在包括物联网设备在内的网络中使用。

    Dec, 2019

  • 一位压缩感知的通信高效去中心化联邦学习

    本文提出了一种基于不精确的交替方向法方法的新算法，在分散节点之间训练共享模型的过程中实现了稀疏约束、通信效率和计算效率的改进。

    Aug, 2023

  • 跨联邦物联网设备对数据分布的对抗预测

    联邦学习是用于分散式物联网设备训练机器学习模型的默认方法之一。但是，本研究表明，联邦学习中共享的模型权重可能泄露物联网设备的本地数据分布信息，并且模型权重注入噪声无法有效防止数据泄露。

    Aug, 2023

  • 基于贝叶斯的联邦模型压缩技术提升通信与计算效率

    本文研究了联邦学习中的贝叶斯模型压缩，构建稀疏模型既能实现通信效率又能实现计算效率。我们提出了一种分散的 Turbo 变分贝叶斯推理（D-Turbo-VBI）联邦学习框架，其中我们首先提出了一种层次稀疏先验，从而促进了权重矩阵中的聚类稀疏结构。然后，通过将消息传递和 VBI 与分散的 turbo 框架巧妙地集成在一起，我们提出了 D-Turbo-VBI 算法，它可以（i）在联邦训练期间减少上行和下行通信开销，以及（ii）在本地推理期间减少计算复杂性。此外，我们还建立了所提出的 D-Turbo-VBI 算法的收敛性质。仿真结果显示了我们所提出算法在减少联邦训练期间的通信开销和最终模型的计算复杂性方面的显著增益。

    Apr, 2024

  • 基于贝叶斯的无线网络联邦学习

    本文提出了一种基于贝叶斯的联合学习算法（BFL）和一种高效的改进算法（Scalable-BFL），通过优化均方误差，聚合异构的离散梯度信息，在 MNIST 数据集上的模拟实验中，这两种算法在异构网络上训练和测试神经网络时都比传统的随机梯度下降算法表现得更好。

    Dec, 2020