高斯差分隐私深度学习
本论文提出新的算法技术,包括隐私成本的细化分析,并在差分隐私框架下进行。 实验结果表明:我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络,而且在软件复杂性、训练效率和模型质量上具有可管理的成本。
Jul, 2016
本文提出 $f$- 差分隐私,一种新的隐私松弛定义,避免了使用发散松弛的一些困难,并支持隐私定义的组合和代数推理。同时,作者通过介绍高斯差分隐私,一个基于测试两个移动高斯函数的 $f$- 差分隐私的单参数家族,并通过数学证明和计算机实验了演示工具,进一步完善并解决了隐私数据分析的问题。
May, 2019
本文旨在探究如何使用差分隐私来训练机器学习模型,以 ImageNet 图像分类为例,展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法,使我们能够使用 DP 来训练一个 ResNet-18,精度为 47.9%。虽然这比 “朴素” 的 DP 训练要好,但是离没有隐私的情况下的 75%精度还有很大的差距。
Jan, 2022
本文着重研究了隐私预算的问题,提出了一套训练范式,通过调整噪声比例,使更多的噪声能被纳入隐私预算,从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。
Oct, 2021
该文探讨了在深度学习模型中如何保护训练数据的隐私,比较了不同优化方法对模型性能、训练效果和隐私攻击的影响,并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。
Sep, 2022
本研究提出了一种基于不同隐私的分散式深度学习方法,该方法对协作学习的数据进行隐私保护,保障节点之间数据的安全交换。实验结果表明,在稀疏图和不均匀数据分布下,不同隐私梯度跟踪具有抗干扰性,并且可在不向其他代理共享原始数据的情况下学习高准确性模型。
Jun, 2023
本研究研究以 Rényi 差分隐私为视角的 DP 组合,通过证明一个更简单的复合定理并提供小型常量,从而使其足够实用,以应用于 DP 深度学习中进行在线噪声或批处理大小调整以提高模型准确性,在固定的总隐私损失内以停止微调模型以减少总隐私损失的操作
Mar, 2021
利用不同隐私保护方法在深度神经网络上进行私密训练,以实现维度较高的数据生成,并提出统一的方法以提供系统性的派生方法,满足不同用例的需求,探讨不同方法之间的优势、限制和内在相关性以启发未来研究,并提出前进的潜在途径以推动隐私保护学习领域的发展。
Sep, 2023
本文介绍了一种模块化方法,可以最小化对训练算法的更改,提供各种隐私机制的配置策略,并隔离和简化计算最终隐私保证的关键逻辑,以解决在隐私敏感数据集上训练机器学习模型所面临的实际挑战。
Dec, 2018