私有学习器的样本复杂度表征
讨论分布式数据的PAC学习问题,分析了涉及的基本通信复杂性问题,包括教学维度和错误绑定。针对特定概念类别,如合取、奇偶函数和决策列表等,给出上下界限。讨论了如何通过增强来在分布式环境下进行一般性通信,以及如何在不确定环境下实现低通信回归。同时,还考虑了隐私性,包括差分隐私和分布式隐私。
Apr, 2012
该研究通过将真正的差分隐私和近似(ε,Δ)-差分隐私应用于优化问题中,研究比较了私有学习和消毒的样本复杂性,同时构建了用于高维中的点函数,阈值函数和轴对齐矩形的私有学习器以及标签私有学习,证明了VC 维完全刻画了学习带标签隐私的样本复杂性。
Jul, 2014
该研究提出了不同ially private算法(DP算法)在发布阈值函数的近似答案时的样本复杂度的新上限和下限结果,还展示了实现此任务在无限域X上是不可能的,并需要样本复杂度n≥Ω(log * |X| ),同时对于使用DP合理地学习概念类与无隐私信息学习之间的差异也给出了首个下限结果。
Apr, 2015
讨论私人和公共学习示例的差异隐私问题,证明可通过公共样本数为$d/\alpha$和私有标记样本数为$d/\alpha^2$实现平均误差为$\alpha$的VC-dimension $d$假设类别的免疫性学习,提出与之相匹配的下界。
Oct, 2019
本文探讨了在差分隐私约束下学习阈值函数的样本复杂度问题,并提出了一种新的算法来减少样本复杂度。该算法基于选择输入相关哈希函数和将数据库嵌入到大小对数减小的域中,从而在不泄露个体信息的情况下生成内部点。
Nov, 2019
本研究提出了一种私有永久预测模型来解决传统私有模型中样本复杂度高的问题,其中预测是替代假设的,用来回答一系列分类查询,并使用预测修改假设,同时考虑对训练集和(自适应选择的)查询的隐私保护,而在PAC模型中提供通用建设,有效预测所有具有有限VC维的概念类,无论是有限域还是无限域。
May, 2023
研究了具有公共数据访问的私人分布学习问题,通过使用公共和私有样本来输出一个对分布 p 的估计,同时满足纯差分隐私的隐私约束。结果显示,Q类的公共-私有可学习性与Q类的样本压缩方案以及中间概念列表学习的存在有关,并且将这种连接利用起来恢复了以前关于Gaussians和新的结果,包括关于高斯$k$混合物的样本复杂性上界、关于自适应和分布转移抵抗学习的结果,以及在承担混合和分布乘积时广义公共-私有学习的闭合特性。最后,利用与列表学习的联系,结果显示对于Gaussians在R^d中,至少需要d个公共样本进行私人可学习性,这接近已知的d+1个公共样本的上界。
Aug, 2023
通过利用公共数据来提高私人学习算法的性能,本研究提出了第一种具有计算有效性的算法,以确保在满足与私人样本相关的差分隐私的同时,当私人数据分布足够接近公共数据时也能保证学习效果,并且在函数类可非私密学习时可进行私人学习的证明。
Feb, 2024