Oct, 2023

面向 5G 之外物联网的点对点深度学习

PDF
TL;DR我们提出了 P2PL 算法，它是一种实用的多设备对等深度学习算法，不需要边缘服务器或云端的协调，适用于超过 5G 计算环境（如智能城市）中的规模、延迟、带宽和单点故障问题，并通过最大范数同步、设备上的深度模型训练保护隐私、本地设备间通信实现分布式一致性。通过实验证明，即使使用 100 台设备和松散的随机一致性权重，所有参与设备都能达到联邦和集中式训练所达到的相同测试性能，并将这些实验结果扩展到具有多样化网络拓扑、稀疏和间歇通信以及非 IID 数据分布的环境中。
p2plpeer-to-peer deep learningfederated learningbeyond-5g computing environmentsdistributed consensus
发现论文，激发创造
  • 对等学习与非独立同分布数据的一致性

    使用点对点深度学习算法，实现分布式边缘设备之间的协作训练深度神经网络，无需交换原始训练数据或依赖中央服务器。我们发现模型漂移导致本地训练和共识阶段之后的测试性能出现显著震荡，并确定了放大性能震荡的因素。通过我们的创新方法 P2PL with Affinity，在非独立同分布的设置中，我们能够减弱测试性能震荡，而不增加额外的通信成本。

    Dec, 2023

  • 个性化和私密的点对点机器学习

    本文提出了一种高效的分散式（点对点）和异步算法来解决个性化模型的学习，同时满足强隐私要求，并证明了它的收敛速率。我们展示了如何使算法往常差异保持私密以保护个人数据集的信息披露，并正式分析了效用和隐私之间的权衡。实验结果表明，在非私密约束下，我们的方法大大优于以前的工作，在隐私约束下，我们可以显著改进在独立学习中得到的模型。

    May, 2017

  • 异构无线网络中动态分布式模型训练的并行连续学习

    本文对联邦学习进行了拓展，提出了并行连续学习 (PSL)，利用 PSL 的框架，实现了从三个方面的拓展：网络（通过设备之间的设备对设备通信进行分散合作），异构性（考虑到训练设备之间的数量、数据来源和性能差异），以及接近度（设备之间不同的距离和不同的访问点）。PSL 实现了模型的分散和本地模型凝聚作为联邦学习方法的一部分，并提出了网络感知动态模型跟踪以优化模型学习和资源效率之间的权衡。

    Feb, 2022

  • P4: 私密、个性化和点对点学习

    通过开发 P4（Personalized Private Peer-to-Peer）方法解决个性化学习中的客户聚类和数据隐私的挑战，保证每个客户在培训期间和培训后维护不同的隐私保证，并在多个基准数据集和不同的神经网络模型上展示了相对于差分隐私 P2P 技术的高达 40％的精确度提高。

    May, 2024

  • 探索无服务器计算对点对点训练机器学习的影响

    通过将无服务器计算与点对点网络相结合，提出了一种在资源限制下实现高效并行梯度计算的新型架构，相比传统的点对点分布式训练方法，在梯度计算时间上取得了显著提升，同时也引入了更高的成本。

    Sep, 2023

  • 基于图形的点对点联邦学习

    本文提出了一种在节点网络中训练机器学习模型的完全去中心化框架，其中节点通过在模型参数空间上引入信念的贝叶斯式方法，通过聚合来自其一跳邻居的信息进行更新其信念以在整个网络上学习最适合观察的模型的分布式学习算法，同时获得确保每个节点的误差概率很小的充分条件和讨论了应用此算法训练深度神经网络（DNNs）所需的近似，实验证明与节点学习无合作的情况相比，所提出的学习规则算法提供了显着的精度改进。

    Jan, 2019

  • 个性化联邦学习的分散指导协作

    个性化联邦学习（PFL）在每个客户端寻找最优个性化模型，我们提出了一种分布式的个性化联邦学习（DPFL）框架，通过引入随机梯度推送和部分模型个性化，实现了线性分类器的个性化，达到了更好的收敛速度。

    May, 2024

  • 使用下行设备选择的联邦学习

    本文研究联邦边缘学习在无线网络边缘使用隐私数据协作训练全局模型，通过数字下行传输，设计了一个部分设备参与的框架和设备选择方法，实验结果表明最佳参与设备数量取决于统计偏差的 MNIST 数据集。

    Jul, 2021

  • 个性化模型与协作图的完全去中心化联合学习

    一种考虑了分散式机器学习和数据保护的联邦学习方式，通过构建本地图和局部连接来训练个人的、个性化的非线性模型，实现了低通讯成本和对数据的隐私保护。

    Jan, 2019

  • 边缘无线网络分布式机器学习的 D2D 数据共享

    本文提出使用不同边缘设备间通过通信链接共享数据样本的新设备到设备的数据共享方法，在此设置下，优化了无线电资源分配以减少训练时延，并在数据样本在边缘设备之间非独立且非同分布时增加了训练精度。

    Jan, 2020