Apr, 2023

一石二鸟：量化实现分布式学习隐私

PDF
TL;DR提出了一种量化解决方案，该方案能够同时实现通信效率和隐私保护，并通过在分布式随机梯度下降框架中将二项式噪声加入到均匀量化的梯度中来证明其有效性，从而在通信、隐私和学习性能之间实现新的平衡。
distributed machine learningcommunication efficiencyprivacy protectionquantization-based solutionstochastic gradient descent
发现论文，激发创造
  • 使用抖动进行通信高效的隐私联邦学习

    在受信任的聚合器模型中，通过在客户端使用基于减法抖动的量化方案，我们提出了一种既能保护隐私又能确保高效通信的解决方案，实现了两个目标的同时。我们证明了这种方案在复制聚合器中常规噪声添加过程方面的有效性。这意味着与传输完整精度梯度并使用中心噪声添加相比，我们可以确保相同级别的差分隐私，并大幅减少所需的通信量。我们还通过实验证明了我们提出的方法与完整精度梯度方法的准确性相当。

    Sep, 2023

  • 隐私保护分布式学习的基于量化的技术

    本研究论述了一种符合规定的分布式机器学习训练的数据保护技术，采用基于量化多哈希数据表示和随机化的协议，保护训练数据和机器学习模型参数，并通过标准安全多方计算协议共享超参数。实验结果展示了该方法的鲁棒性和保持准确性的特性。

    Jun, 2024

  • 联邦学习中量化的效果：一种以 Rényi 差分隐私为视角的研究

    通过分析量化对联邦学习系统中的隐私保护的影响，本研究论文得出了量化位级越低，隐私保护越好的结论，并通过隶属推理攻击验证了这一理论分析，证实了量化确实可以增强隐私保护。

    May, 2024

  • RQP-SGD: 差分隐私机器学习通过噪声 SGD 和随机量化

    针对物联网设备需求趋升，要求在边缘实时、高效、安全地处理数据的机器学习需求，本研究提出了一种新的隐私保护量化方法 RQP-SGD，结合差分隐私随机梯度下降（DP-SGD）与随机量化，实现低内存机器学习模型的训练，同时保护底层数据集的隐私并展示了其在凸目标和量化约束下的实用性和有效性。

    Feb, 2024

  • 分布式 SGD 的截断非均匀量化

    为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析，为其性能提供了理论保证。此外，通过最小化收敛误差，我们推导出了在给定通信约束下的截断阈值和非均匀量化水平的最优闭式解。理论洞察力和广泛的实验评估表明，我们的算法优于现有的量化方案，在通信效率和收敛性能之间达到了更优的平衡。

    Feb, 2024

  • 随机量化，差分隐私在联邦学习中十分必要

    本研究提出了一种通过量化和差分隐私相结合的联合学习算法 —— Randomized Quantization Mechanism（RQM）, 该算法通过两层随机化达到了 Renyi 差分隐私保护，同时在 DP 联合学习的隐私 - 准确性平衡方面取得了较好的表现，是首次仅通过随机量化而不使用显式离散噪声实现 Renyi DP 保证的研究。

    Jun, 2023

  • QMGeo：基于混合截断几何分布的随机量化差分隐私联邦学习

    本文提出了一种新颖的随机量化方法，利用混合几何分布引入所需的随机性，以提供差分隐私，而不引入任何附加噪声，并通过收敛分析和实证研究了该方法的性能。

    Dec, 2023

  • cpSGD：通信高效和不同 ially-private 的分布式 SGD

    本文探讨了在移动设备上实现通信效率和差分隐私相结合的分布式随机梯度下降算法，其中引入了 Binomial 机制以实现近似于高斯机制的效用，同时减少了表示位的数量。

    May, 2018

  • 通过惰性聚合量化梯度进行高效的分布式学习通信

    本文提出了一种新的集成梯度方法来进行分布式机器学习，其通过量化计算的梯度避免信息不足的梯度通信并高效减少通信开销。实验证明，与现有的基于梯度或随机梯度的算法相比，该算法可以显著减少通信量和通信轮数。

    Sep, 2019

  • 打破通信 - 隐私 - 准确性三难题

    该研究提出了一种基于 Kashin 表示和随机抽样的方案以及利用 Walsh-Hadamard 矩阵的递归结构来实现隐私和通信效率的联合优化编码和解码机制，对平均值估计和频率估计等问题进行了研究。

    Jul, 2020