ICMLJun, 2021
低秩再参数化实现大规模私有学习
Large Scale Private Learning via Low-rank Reparametrization
Da Yu, Huishuai Zhang, Wei Chen, Jian Yin, Tie-Yan Liu
TL;DR本文提出了一种再参数化方案来解决在大型神经网络上应用差分隐私 SGD 所面临的巨大存储成本与附加噪声的问题,该方案使用梯度承载矩阵和残差权重矩阵重构每个权重矩阵,并设计了基于梯度承载矩阵上的梯度扰动算法,成功地在 BERT 模型上实现了差分隐私且准确率损失低于 5%