Jan, 2020

一种稀疏差分高斯掩码分布式 SGD 方法：私密且通信高效的边缘学习

PDF
TL;DR本文提出了一种新的分散式隨機梯度方法，用於非凸分散式邊緣學習，以提高數據隱私和通信效率的性能指標。該方法在理論上確立了隱私性和通信效率的性能保證，實驗結果證明了該方法能夠兼顧兩者，是現有作品的優秀方法。
machine learningwireless edge networksdata privacycommunication efficiencydistributed edge learning
发现论文，激发创造
  • cpSGD：通信高效和不同 ially-private 的分布式 SGD

    本文探讨了在移动设备上实现通信效率和差分隐私相结合的分布式随机梯度下降算法，其中引入了 Binomial 机制以实现近似于高斯机制的效用，同时减少了表示位的数量。

    May, 2018

  • 边缘机器学习：基于分布式随机梯度下降的空中传输

    本研究在有限的功率和带宽条件下，探索了运用多个边缘设备进行分布式随机梯度下降算法的联邦机器学习，提出了 D-DSGD 和 A-DSGD 两个方法，其中 A-DSGD 采用了一项新颖的模拟方案，比 D-DSGD 更快地收敛，并表现出更好的鲁棒性和可扩展性。

    Jan, 2019

  • 基于共识算法的差分隐私分散深度学习

    本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。

    Jun, 2023

  • 基于无线 D2D 网络的分散联邦学习

    本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

    Feb, 2020

  • SLSGD: 安全高效的分布式设备端机器学习

    提出一种新的具有高效通信和攻击容忍度的分布式优化算法，可用于有限通信和安全要求下的分布式边缘学习，具有收敛性和鲁棒性，可稳定收敛并容忍数据中毒。

    Mar, 2019

  • MALCOM-PSGD：用于通信高效的分散式机器学习的近似近端随机梯度下降

    近期的研究表明，频繁的模型通信是分布式机器学习（ML）尤其是针对大规模和过参数化的神经网络（NNs）效率的主要瓶颈。本文介绍了一种新的分布式 ML 算法 MALCOM-PSGD，它在模型稀疏化中策略性地整合了梯度压缩技术。MALCOM-PSGD 利用近端随机梯度下降来处理模型稀疏化中由于ℓ₁正则化而引起的非光滑性。此外，我们采用矢量源编码和基于抖动的量化来压缩稀疏模型的梯度通信。我们的分析表明，假设学习率递减，具有压缩通信的分布式近端随机梯度下降具有收敛速率为 O (ln (t)/√(t))，其中 t 表示迭代次数。数值结果验证了我们的理论发现，并且证明我们的方法在比较于最先进的方法时可以将通信成本降低约 75%。

    Nov, 2023

  • 一石二鸟：量化实现分布式学习隐私

    提出了一种量化解决方案，该方案能够同时实现通信效率和隐私保护，并通过在分布式随机梯度下降框架中将二项式噪声加入到均匀量化的梯度中来证明其有效性，从而在通信、隐私和学习性能之间实现新的平衡。

    Apr, 2023

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 分布式离散高斯机制在带有安全聚合的联邦学习中的应用

    本文提出了一种基于离散高斯和安全聚合的训练模型方法，以保护私有数据。通过数据量化和添加离散高斯噪音，能够实现通信、隐私和准确性之间的复杂平衡，此方法在少于 16 位精度的情况下几乎能匹配集中式差分隐私的准确性水平。

    Feb, 2021

  • 通信高效的本地分散式 SGD 方法

    本研究提出了一种名为 LD-SGD 的算法，该算法结合了本地更新和分散式通信，提供了分析框架，并给出了收敛的充分条件。该框架为分散式优化设计了更新方案，并具有理论和实际的通信优化效果，从而在分散式设置中提高了通信效率。

    Oct, 2019