拥有公共数据访问权限的私有学习限制
研究了具有公共数据访问的私人分布学习问题,通过使用公共和私有样本来输出一个对分布 p 的估计,同时满足纯差分隐私的隐私约束。结果显示,Q 类的公共 - 私有可学习性与 Q 类的样本压缩方案以及中间概念列表学习的存在有关,并且将这种连接利用起来恢复了以前关于 Gaussians 和新的结果,包括关于高斯 $k$ 混合物的样本复杂性上界、关于自适应和分布转移抵抗学习的结果,以及在承担混合和分布乘积时广义公共 - 私有学习的闭合特性。最后,利用与列表学习的联系,结果显示对于 Gaussians 在 R^d 中,至少需要 d 个公共样本进行私人可学习性,这接近已知的 d+1 个公共样本的上界。
Aug, 2023
本文给出了一个样本大小的组合特征,是私有概念类学习足够和必需的。我们介绍了概念类的概率表示概念,并证明了私有学习算法对于概念类 C 的样本复杂度意味着 RepDim(C)=O (m),并且存在一个样本复杂度 m = O(RepDim(C))的私有学习算法。
Feb, 2014
通过利用公共数据来提高私人学习算法的性能,本研究提出了第一种具有计算有效性的算法,以确保在满足与私人样本相关的差分隐私的同时,当私人数据分布足够接近公共数据时也能保证学习效果,并且在函数类可非私密学习时可进行私人学习的证明。
Feb, 2024
该研究通过将真正的差分隐私和近似(ε,Δ)- 差分隐私应用于优化问题中,研究比较了私有学习和消毒的样本复杂性,同时构建了用于高维中的点函数,阈值函数和轴对齐矩形的私有学习器以及标签私有学习,证明了 VC 维完全刻画了学习带标签隐私的样本复杂性。
Jul, 2014
本文探讨了在差分隐私约束下学习阈值函数的样本复杂度问题,并提出了一种新的算法来减少样本复杂度。该算法基于选择输入相关哈希函数和将数据库嵌入到大小对数减小的域中,从而在不泄露个体信息的情况下生成内部点。
Nov, 2019
公共数据辅助差分隐私算法的限制和能力研究,重点研究带有标记或无标记的公共数据的随机凸优化问题,通过建立 PA-DP 均值估计的新的下界,展示了算法的风险上限及最优策略,同时研究了未标记公共样本在隐私监督学习中的应用,并给出了广义线性模型的高效算法及其下界,最后将结果推广到具有有限胖碎片维度的一般假设类,涉及神经网络和非欧几里得几何的应用。
Mar, 2024
探讨在分类和回归等多种模型中,为实现个体预测隐私保护所需的成本,以及通过训练多个模型并使用标准的聚合技术来预测,以降低聚合步骤引入的开销,并建立所有不同隐私预测算法的强广义保证,从而研究机器学习中差分隐私的最优样本调整量。
Mar, 2018