距离型和连续型 Fano 不等式及其在统计估计中的应用
本文介绍信息论在统计估计不可能性问题上的应用,针对 Fano's inequality 及其变体进行详尽探讨,提供了一些关键工具和方法,并给出了若干具体实例,包括了分组测试、图形模型选择、稀疏线性回归、密度估计和凸优化等。
Jan, 2019
本文使用中心差分隐私提出了 Le Cam 方法、Fano 不等式和 Assouad 引理的类似物,并且通过该方法在多个统计估计任务中建立了样本复杂性边界,包括离散分布估计和 l2 距离评估。我们还提供了针对几个其他分布类别的下界,包括产品分布和高斯混合分布,这些下界在对数因子上是精确的。我们的技术贡献在于将分布之间的耦合与基于差分隐私的估计的样本复杂度相关联。
Apr, 2020
本研究提出了一种基于 Fano 不等式的合奏学习理论,用一套扎实的度量体系来评估一个给定的合奏系统,并通过实验验证和证明了这种理论的有效性,该理论将推动合奏学习的理论认识,并为系统设计提供洞见。
May, 2022
研究在数据即使隐私保护给定的情况下,隐私保证和结果统计估计器的效用之间的权衡,通过信息论和标准最小最大技术,提出本地隐私约束下统计速率的精确刻画,并提出新的隐私保护机制和计算有效的估计器,以实现界限。
Feb, 2013
给出了估计离散概率分布的新界限,这些界限在各种准确意义上几乎是最优的,包括一种实例最优性。我们提出的基于数据的最大似然估计的收敛性保证显著改进了目前已知的结果。我们利用和创新了多种技术,包括切诺夫型不等式和经验伯恩斯坦界。在合成和真实世界实验中验证了我们的结果。最后,我们将所提出的框架应用于一个基本的选择推理问题,即估计样本中最频繁的概率。
Feb, 2024
本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式,其中包括函数占优方法、基于矩不等式和对数凸性属性的方法;在对相对信息性施加有界性假设的情况下,本文还阐述了各种界限,并特别关注了总变差距离及其与相对信息和相对熵的关系,包括 “reverse Pinsker 不等式”,以及广义化的总变差距离 Eγ 差异。
Aug, 2015
本篇论文研究了基于 KL 散度的复杂度度量方法,为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式,并发现这种技术可以改进一些经典结果,特别是可以导出干净的有限样本收敛界限。
Feb, 2007
该论文在运输距离中建立了多个独立变量经验测量的一些定量浓度估计。作为应用,我们为模型均场问题中的粒子模拟提供了一些误差界限。工具包括耦合论证,以及某些扩散偏微分方程解的正则性和矩估计。
Mar, 2005
本文提出了一种统一的框架,用于基于交互式协议的分布式参数估计,可以导出各种紧密下限,适用于不同的参数分布族;特别是在高斯家族的原型情况下,我们的方法可以规避以往技术的局限性,并补充了匹配的上限。
Oct, 2020
我们提出了 Bernstein 浓度不等式的一些扩展,这种不等式已成为统计学、信号处理和理论计算机科学等许多问题中有用而强大的工具。我们不依赖于环境空间的维度,而是用与之相关联的 ' 有效秩 ' 取代了维度因子。这使得在无限维度的情况下扩展成为可能。
Dec, 2011