RQP-SGD: 差分隐私机器学习通过噪声 SGD 和随机量化

AAAIFeb, 2024

RQP-SGD: 差分隐私机器学习通过噪声 SGD 和随机量化

RQP-SGD: Differential Private Machine Learning through Noisy SGD and Randomized Quantization

Ce Feng, Parv Venkitasubramaniam

TL;DR针对物联网设备需求趋升，要求在边缘实时、高效、安全地处理数据的机器学习需求，本研究提出了一种新的隐私保护量化方法 RQP-SGD，结合差分隐私随机梯度下降（DP-SGD）与随机量化，实现低内存机器学习模型的训练，同时保护底层数据集的隐私并展示了其在凸目标和量化约束下的实用性和有效性。

Abstract

The rise of iot devices has prompted the demand for deploying machine learning at-the-edge with real-time, efficient, and secure data processing. In this context, implementing machine learning (ML) models with re

iot devices machine learning ml-at-the-edge privacy-preserving quantization rqp-sgd

发现论文，激发创造

随机量化，差分隐私在联邦学习中十分必要

本研究提出了一种通过量化和差分隐私相结合的联合学习算法 —— Randomized Quantization Mechanism（RQM）, 该算法通过两层随机化达到了 Renyi 差分隐私保护，同时在 DP 联合学习的隐私 - 准确性平衡方面取得了较好的表现，是首次仅通过随机量化而不使用显式离散噪声实现 Renyi DP 保证的研究。

Jun, 2023

联邦学习中量化的效果：一种以 Rényi 差分隐私为视角的研究

通过分析量化对联邦学习系统中的隐私保护的影响，本研究论文得出了量化位级越低，隐私保护越好的结论，并通过隶属推理攻击验证了这一理论分析，证实了量化确实可以增强隐私保护。

May, 2024

SDQ：带混合精度的随机可微量化

本文提出了一种新的随机可微量化（SDQ）方法，利用不同层和模块的优化比特宽度来自动学习混合精度量化策略，并利用熵感知的分 bin 正则化和知识蒸馏对网络进行训练，经过在不同硬件和数据集上广泛的评估，SDQ 在较低的比特宽度下优于所有最先进的混合或单精度量化，甚至优于各种 ResNet 和 MobileNet 家族的全精度对应物，展示了我们的方法的有效性和优越性。

Jun, 2022

QMGeo：基于混合截断几何分布的随机量化差分隐私联邦学习

本文提出了一种新颖的随机量化方法，利用混合几何分布引入所需的随机性，以提供差分隐私，而不引入任何附加噪声，并通过收敛分析和实证研究了该方法的性能。

Dec, 2023

一石二鸟：量化实现分布式学习隐私

提出了一种量化解决方案，该方案能够同时实现通信效率和隐私保护，并通过在分布式随机梯度下降框架中将二项式噪声加入到均匀量化的梯度中来证明其有效性，从而在通信、隐私和学习性能之间实现新的平衡。

Apr, 2023

利用内在噪声进行量子机器学习隐私保护

利用量子计算中的自然噪声保护量子机器学习模型的数据隐私，在不同次数运行量子电路可以实现目标隐私保护水平。

Dec, 2023

隐私保护分布式学习的基于量化的技术

本研究论述了一种符合规定的分布式机器学习训练的数据保护技术，采用基于量化多哈希数据表示和随机化的协议，保护训练数据和机器学习模型参数，并通过标准安全多方计算协议共享超参数。实验结果展示了该方法的鲁棒性和保持准确性的特性。

Jun, 2024

DP-Weights：让任何模型拥有差分隐私

使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。

Jun, 2024

通过区块自助法对差分隐私随机梯度下降进行不确定性量化

提出了一种基于局部差分隐私的新型块自助法用于随机梯度下降，该方法具有可计算性和不需要调整隐私预算的特点，可以广泛应用于估计问题，并通过模拟研究证明了其有效性和有限样本性质，并成为非隐私 SGD 的简单替代数值工具。

May, 2024

基于混合强化学习的数据质量感知混合精度量化

本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对不均匀输入质量时隐式地选择每个层的最适宜比特宽度，在各种基准数据集和网络上的大量实验表明，DQMQ 比现有的固定 / 混合精度量化方法更为优越。

Feb, 2023