选择泄露隐私的机制：重新审视私密选择和超参数调整的改进结果

Feb, 2024

选择泄露隐私的机制：重新审视私密选择和超参数调整的改进结果

How Does Selection Leak Privacy: Revisiting Private Selection and Improved Results for Hyper-parameter Tuning

Zihang Xiang, Chenglong Wang, Di Wang

TL;DR在超参数调整问题中，提供了关于当前隐私分析是紧密的一般意义上的证实，然而，当专门研究超参数调整问题时，密切性不再成立。此外，通过隐私审计发现了当前理论上的隐私边界与经验边界之间的实质差距，并提供了改进后的隐私结果以及比以往分析更具普适性的结果。

Abstract

We study the problem of guaranteeing differential privacy (DP) in hyper-parameter tuning, a crucial process in machine learning involving the selection of the best run from several. Unlike many private algorithms

differential privacy hyper-parameter tuning privacy analysis privacy bound privacy result

发现论文，激发创造

应用 Renyi 差分隐私方法进行超参数调优

本文研究差分隐私算法包括 DP-SGD 等在进行多次训练来微调算法超参数时产生的隐私泄漏问题，并提出了基于 Renyi 差分隐私的超参数搜索方法，结果表明虽然调整超参数的确会带来隐私泄漏，但只要每次候选训练运行本身是差分隐私的，那么泄漏就是适度的。

Oct, 2021

DP-HyPO：自适应私有超参数优化框架

DP-HyPO 是一种桥接私人和非私人超参数优化方法的里程碑式框架，并提供了具有全面差分隐私分析的高效性。

Jun, 2023

实用差分隐私的三种工具

在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。

Dec, 2018

私人候选人的私人选择

本文考虑了在对候选项稳定性更弱的情况下，即评分函数是差分隐私的情况下的选择问题。我们提供了算法，在隐私、效用和计算效率等三个方面都是最优的。同时，我们还开发了在线版本和基于稀疏向量技术的通用性算法。这些算法在差分隐私机器学习中的超参数选择以及自适应数据分析中都有更好的表现。

Nov, 2018

近似最紧密的黑盒审计差分隐私机器学习

该研究通过黑盒模型对 Differentially Private Stochastic Gradient Descent (DP-SGD) 算法进行了近乎严格的审计，通过成员推理攻击经验性地估计了 DP-SGD 的隐私泄漏，并且估计结果接近理论 DP 边界。

May, 2024

隐私配置用于私人选择

本研究通过使用 Rényi DP 等现代数值隐私核算工具，提出了一种易于使用的方法来限制 ReportNoisyMax 和 PrivateTuning 的隐私特性，并在端到端的隐私学习实验中取得了显著的改进。同时，分析结果还指出了在特定领域中使用二项分布来随机化回合数可以获得更大的改进。

Feb, 2024

差分隐私贝叶斯优化

研究使用贝叶斯优化调整机器学习模型的超参数，探讨如何在发布最佳超参数和分类器准确度时保护隐私，并使用差分隐私和平滑性保证来对实验结果进行保密。

Jan, 2015

训练知道自己不知道什么的私有模型

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023

迭代式隐私放大

使用微分隐私技术对加性迭代算法的中间结果进行保护，避免泄露中间过程可以强化隐私保障并解决凸优化问题。

Aug, 2018

更好的隐私线性回归通过更好的隐私特征选择

本文提出了一种基于 Kendall 秩相关的差分隐私特征选择方法，扩展了不同隐私线性回归算法的适用性，并证明了在特征正态分布时的效用保证。经过对 25 个数据集的实验，发现在回归之前添加此私有特征选择步骤显著地提高了 “即插即用” 隐私线性回归算法的适用性，同时几乎不增加终端用户的隐私、计算或决策成本。

Jun, 2023