本论文提出新的算法技术,包括隐私成本的细化分析,并在差分隐私框架下进行。 实验结果表明:我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络,而且在软件复杂性、训练效率和模型质量上具有可管理的成本。
Jul, 2016
利用不同隐私保护方法在深度神经网络上进行私密训练,以实现维度较高的数据生成,并提出统一的方法以提供系统性的派生方法,满足不同用例的需求,探讨不同方法之间的优势、限制和内在相关性以启发未来研究,并提出前进的潜在途径以推动隐私保护学习领域的发展。
Sep, 2023
通过研究选择性分类器在差分隐私约束下的效果,探讨深度学习模型的可靠性及隐私泄漏问题,发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适,使用差分隐私不仅会降低模型的效能,而且在隐私预算降低时需要付出相当大的覆盖成本。
May, 2023
通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型,提高私有领域的模型性能,让其成为可能。
Sep, 2020
通过使用有限的公共数据,我们提出了一种新颖的差分隐私持续预训练策略,可以显著减轻差分隐私优化器的性能下降问题,并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率(ε=8),以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率,与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。
Feb, 2024
本文旨在探究如何使用差分隐私来训练机器学习模型,以 ImageNet 图像分类为例,展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法,使我们能够使用 DP 来训练一个 ResNet-18,精度为 47.9%。虽然这比 “朴素” 的 DP 训练要好,但是离没有隐私的情况下的 75%精度还有很大的差距。
Jan, 2022
该文探讨了在深度学习模型中如何保护训练数据的隐私,比较了不同优化方法对模型性能、训练效果和隐私攻击的影响,并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。
Sep, 2022
本研究介绍了一种在分布式情况下使用差分隐私训练临床数据神经网络的方法,并在 eICU 协作研究数据库和 The Cancer Genome Atlas 上进行了验证。
Dec, 2018
本文研究了协作深度学习的隐私问题以及差分隐私技术的应用,结果发现目前的方法都无法保护参与者的训练数据隐私,因为我们提出了一种基于生成对抗网络的攻击方法。
Feb, 2017
研究了如何在严格保护隐私的情况下,利用梯度信息来选择有利于模型训练的数据,解决在协同训练深度学习模型中,难以区分出有用数据点的问题。