大函数空间中的学习:基于隐私保护机制的支持向量机学习
本研究提出了一个隐私保护的机器学习算法,基于差分隐私定义,首先将 Dwork 等人的输出扰动思想应用于 ERM 分类,然后通过扰动目标函数来设计一个新的 objective perturbation 方法,对于满足某些凸性和可微性条件的损失函数和正则化方法,我们证明了我们的算法可以保护隐私,并提供线性和非线性核的泛化界,同时我们提供了一种隐私保护的技术来调整通用机器学习算法的参数,从而为训练过程提供了端到端的隐私保证。实验结果表明,与输出扰动方法相比,我们的 objective perturbation 方法在处理隐私保护和学习性能间的固有权衡方面更加卓越。
Dec, 2009
通过差分隐私和稳定学习理论的显式连接,提出了一种更好的隐私 / 实用性权衡方法,以便为所有凸型 Lipschitz 有界学习任务获得更好的权衡,并将其应用在医疗数据上,以获得更准确的模型。但改进后的隐私机制使得不同隐私机制更容易受到模型反演攻击的影响。
Dec, 2015
通过开发一个适用于 Oracle 访问目标函数评估和灵敏度的功能机制,利用迭代 Bernstein 算子进行多项式逼近和多项式系数扰动,在较弱的正则条件下建立了快速的依概率均匀逼近的实用程序速率,可用于解决函数发布的差分隐私问题,并提供了任何函数机制可实现的效用下限。
Jul, 2015
本文提出了一种基于差分隐私的机制,以保证数据查询的数据隐私和查询效用之间的平衡。机制包含了每个可能的用户的期望最小化的代价函数,并且针对每个固定数量的查询和差分隐私级别,存在一种几何机制可以同时保证每个可能用户的最佳实用性,这是一种极强的实用性保障。
Nov, 2008
本文研究了在差分隐私约束下的学习能力,揭示了隐私、稳定性和学习能力之间的一些复杂关系,并且提出了一个通用算法,可以在普遍条件下私下学习广泛的学习问题。
Feb, 2015
本文提出了一种针对基于优化的分析任务的差分隐私方法,称为 Functional Mechanism。该方法通过扰动优化问题的目标函数而实现 epsilon-differential privacy,应用于线性回归和逻辑回归等最常用的回归模型,经理论和实验评估表明该方法高效且优于现有解决方案。
Aug, 2012
本文提出了一种基于核的判别式学习框架,使用概率分布作为训练数据,通过将概率分布表示为再生核希尔伯特空间中的平均嵌入,可以应用许多标准的基于核的学习技术,构造了一种支持测量机,提出了一种灵活的支持向量机,实验结果表明所提出的框架有效。
Feb, 2012
该研究通过将真正的差分隐私和近似(ε,Δ)- 差分隐私应用于优化问题中,研究比较了私有学习和消毒的样本复杂性,同时构建了用于高维中的点函数,阈值函数和轴对齐矩形的私有学习器以及标签私有学习,证明了 VC 维完全刻画了学习带标签隐私的样本复杂性。
Jul, 2014
该论文介绍了一种新的和灵活的分析框架,可用于证明任意再生核希尔伯特空间中的支持向量机,并且在独立亚高斯特征和一般有界正交系统家族(例如傅里叶特征)中的特征两个方面都表现出支持向量增殖现象,这些实验未能覆盖。
May, 2023
通过理论探索差分隐私强度参数 epsilon 对学习模型效用的影响,建立并提出了一种可以在任意 epsilon 值下对效用进行估计的实用方法,该方法在实验结果表现出高精度估计和广泛适用性,同时能够在保障隐私的前提下提供较强的效用保证。
Jun, 2022