高斯协方差矩阵私密估计在合理参数范围下的下界
本文提出了一种统计查询下限技术,用于解决高维学习问题中高斯分布的学习和鲁棒性学习问题,并得出了样本复杂度和计算复杂度之间存在的超多项式差距,同时提供了一个新的方法来解决一些相关的无监督估计和测试问题。
Nov, 2016
本文为研究局部隐私约束下的估计方案制定下限,推导出了私有估计和受通信限制的估计问题之间的等价性,适用于任意交互的隐私机制,并且得出了所有不同隐私保护级别的尖锐下限。作者作为对研究结果的一个重要推论,证明了有界或高斯随机向量的均值估计的最小最大均方误差按比例缩放的结论为 $d/n * d/min (ε,ε^2)$ 。
Feb, 2019
提出了一种新的框架,以将鲁棒性的凸松弛算法修改为满足适当参数规范的强最坏情况稳定性保证。通过这一框架,提出了一个可以在存在恶意数据干扰下实现微分隐私的高阶矩的鲁棒估计的算法,包括均值和协方差的估计。该算法成功地应用于成族分布,并在适当参数范数下提供恢复和维度参数的从容保证。
Dec, 2021
本文使用中心差分隐私提出了 Le Cam 方法、Fano 不等式和 Assouad 引理的类似物,并且通过该方法在多个统计估计任务中建立了样本复杂性边界,包括离散分布估计和 l2 距离评估。我们还提供了针对几个其他分布类别的下界,包括产品分布和高斯混合分布,这些下界在对数因子上是精确的。我们的技术贡献在于将分布之间的耦合与基于差分隐私的估计的样本复杂度相关联。
Apr, 2020
在分布式网络中进行参数估计,考虑每个传感器从基础分布中观察独立样本并具有 $k$ 位通信其样本到集中式处理器,该处理器计算所需参数的估计值。我们为一类广泛的损失和分布模型开发极小化风险的下界,并表明在温和的正则条件下,当 $k$ 较小时,通信约束将使有效样本量减少 $d$ 倍,其中 $d$ 是被估计参数的维数。此惩罚随着 $k$ 的增加而以最多指数级别降低,这对某些模型如高维分布估计成立。对于其他模型,我们表明样本量的减少是与 $k$ 线性递减的,例如,当一些次高斯结构可用时。我们将结果应用于具有乘积 Bernoulli 模型、多项式模型、高斯位置模型和逻辑回归的分布式设置中,从而恢复或加强现有结果。
Feb, 2018
研究怎样在不假设样本的基础分布为高斯分布的前提下,只假定有限个矩的情况下,有效地进行线性回归和协方差估计,并关注能用多少样本来实现高精度和指数级成功概率。使用八阶圆当量半定规划提供算法,预备性的证据表明在我们的算法使用的平均中位数框架中无法在多项式时间内改善这些误差率。
Dec, 2019