学习高斯及更高模型的私有与多项式时间算法
本文针对高维高斯分布参数学习问题进行了研究,提出了鲁棒估计算法,在拥有少量恶意样本的情况下实现了 $O(ε)$ 精度的估计,同时也证明了算法的多项式时间复杂度和多项式数量样本要求。
Apr, 2017
本文介绍了用于两种基本高维学习问题的新型、计算有效和差分隐私算法:学习多元高斯分布和在布尔超立方体上学习乘积分布。我们的算法的样本复杂度几乎与这些任务的最优非隐私学习器的样本复杂度相匹配,表明隐私在这些问题上是几乎免费的。
May, 2018
本研究提出了一种新的算法,用于学习高维、高分离度的高斯混合模型的参数,该算法在满足差分隐私强约束的情况下具有与非隐私算法相同的样本复杂度,且不需要对混合组件参数进行先验限制。
Sep, 2019
本文使用中心差分隐私提出了Le Cam方法、Fano不等式和Assouad引理的类似物,并且通过该方法在多个统计估计任务中建立了样本复杂性边界,包括离散分布估计和l2距离评估。我们还提供了针对几个其他分布类别的下界,包括产品分布和高斯混合分布,这些下界在对数因子上是精确的。我们的技术贡献在于将分布之间的耦合与基于差分隐私的估计的样本复杂度相关联。
Apr, 2020
本文提出了一种多项式时间、多项式采样、差分隐私的算法,用于估计任意高斯分布的均值和协方差,且不需要先验参数范围。该算法的主要技术工具是一种新的差分隐私的预处理器,可以从任意的高斯分布中取样并返回一个矩阵 A,使得 A × Σ × A^T 具有固定的条件数字。
Nov, 2021
研究了具有公共数据访问的私人分布学习问题,通过使用公共和私有样本来输出一个对分布 p 的估计,同时满足纯差分隐私的隐私约束。结果显示,Q类的公共-私有可学习性与Q类的样本压缩方案以及中间概念列表学习的存在有关,并且将这种连接利用起来恢复了以前关于Gaussians和新的结果,包括关于高斯$k$混合物的样本复杂性上界、关于自适应和分布转移抵抗学习的结果,以及在承担混合和分布乘积时广义公共-私有学习的闭合特性。最后,利用与列表学习的联系,结果显示对于Gaussians在R^d中,至少需要d个公共样本进行私人可学习性,这接近已知的d+1个公共样本的上界。
Aug, 2023
在满足差分隐私的约束下,研究了估计混合高斯模型问题。通过使用新的框架,证明了高斯模型类的混合模型是可私密学习的,得到了估计混合高斯模型所需的样本数量的有界性,且不对GMMs作出任何结构性假设。
Sep, 2023
本研究解决了在未知集合 $S$ 中的样本情况下,如何有效估计分布参数的问题。我们提出了一种新的算法,能够在多项式时间内估计任意高斯分布和线性回归的参数,尤其在样本被截断的情况下。研究的结果不仅解决了高斯分布的参数估计问题,还为多种经验族提供了处理方法,具有重要的应用潜力。
Oct, 2024
本研究解决了在近似差分隐私下学习高斯混合模型的问题,提出了一种新的样本复杂度,远低于之前的最佳结果。研究表明,当维度远大于混合成分数量时,样本需求量是最优的,并且首次证明了一维高斯混合的私有学习样本复杂度是线性的。这一发现可能显著提高在隐私保护环境下进行数据分析的效率。
Nov, 2024