经验机器学习的差分隐私算法
通过研究选择性分类器在差分隐私约束下的效果,探讨深度学习模型的可靠性及隐私泄漏问题,发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适,使用差分隐私不仅会降低模型的效能,而且在隐私预算降低时需要付出相当大的覆盖成本。
May, 2023
在实际数据中进行差分隐私学习存在挑战:隐私保证难以解释,对私有数据进行的超参数调整会降低隐私预算,通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用:(1)可在训练前以集中方式进行的简单的健全性检查,(2)自适应裁剪边界来减少可调隐私参数的有效数量,(3)大批量训练可以提高模型性能。
Dec, 2018
本研究提出了一个隐私保护的机器学习算法,基于差分隐私定义,首先将 Dwork 等人的输出扰动思想应用于 ERM 分类,然后通过扰动目标函数来设计一个新的 objective perturbation 方法,对于满足某些凸性和可微性条件的损失函数和正则化方法,我们证明了我们的算法可以保护隐私,并提供线性和非线性核的泛化界,同时我们提供了一种隐私保护的技术来调整通用机器学习算法的参数,从而为训练过程提供了端到端的隐私保证。实验结果表明,与输出扰动方法相比,我们的 objective perturbation 方法在处理隐私保护和学习性能间的固有权衡方面更加卓越。
Dec, 2009
本文讨论了机器学习和差分隐私之间的相互作用,即隐私保护机器学习算法和基于学习的数据发布机制,探讨了可以通过差分隐私进行学习的内容以及差分隐私算法的损失函数上限。同时提出了一些开放性问题,包括如何整合公共数据,如何处理私人数据集中的缺失数据,以及当观察样本数量任意增大时,是否可以实现差分隐私机器学习算法而无需牺牲相关算法的效用成本。
Dec, 2014
以预测为基础的差分隐私方法是一种强大的方法,它可以利用外部信息来提高效用和添加噪声偏差稳健性。我们提出了四种重要任务的预测依赖的差分隐私方法,并对其进行了各项分析,包括对数据的最小假设,对噪声预测的自然稳健性增强和学习他人(可能是敏感的)数据的元算法。
Oct, 2022
预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性,并且在四个数据集中实现与非隐私技术的准确性相差不多,包括两个医学成像基准数据集。此外,我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术,有潜力广泛应用于敏感数据的安全机器学习训练,同时保护个人隐私。
Aug, 2023
使用敌对训练和差分隐私训练的组合,本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能,并实证显示该方法的隐私性与非鲁棒私有模型相当。此外,该研究还强调了在动态训练范式中探索隐私保证的需求。
Jan, 2024
本研究提出了一种新颖的 AdaBoost 算法,用于在部分特征敏感的条件下实现差分隐私分类,其隐私证明更简单且具有可比拟或更高的准确性,并可适应所有特征敏感的经典情景。
Dec, 2023