线性估计中的平坦极小值和扩展的高斯马尔可夫定理
从非线性和含噪声观测中估计一个低秩矩阵的任务中,我们证明了一个强普适性结果,表明贝叶斯最优性能可由一个等效的高斯模型表示,其先验参数完全由非线性函数的展开所确定。特别地,我们展示了为了准确重建信号,需要一个随着 $ N^{rac 12 (1-1/k_F)}$ 增长的信噪比,其中 $k_F$ 是函数的第一个非零 Fisher 信息系数。我们提供了最小可实现均方误差(MMSE)的渐近特征及一个类似于问题的线性版本的条件下能达到 MMSE 的近似传递算法。我们还提供了方法如主成分分析与贝叶斯去噪等的渐近误差,并将其与贝叶斯最优 MMSE 进行了比较。
Mar, 2024
本文研究了如何估计稀疏协方差矩阵,建立了在矩阵算子范数和 Bregman 散度损失下的最优收敛率,主要关注建立速率锐利的极小值下限,使用新工具解决此问题。我们首先开发了一种下边界技术,特别适用于处理估计稀疏协方差矩阵等 “双向” 问题。我们随后使用这种下边界技术,建立在谱范数下估计稀疏协方差矩阵的速率锐利的极小值下限。
Feb, 2013
通过解决正则化 M - 估计问题,我们成功预测了在高维比例范式下这种估计器的误差性能,并识别了一种新的总结参数,称为预期的 Moreau 信封,在误差表征中起着核心作用。
Jan, 2016
本文提出了一种新的带罚项的最小二乘估计器,用于发射分布的非参数估计,并证明了其可以达到速率最小极致适应性。该方法基于逐步增加复杂度的嵌套子空间的发射分布的投影,最新的模拟表明了最小二乘估计法的改进。
Jan, 2015
在处理高维稀疏线性模型、有重尾分布和 / 或异常点污染的数据时,研究正则化鲁棒 M - 估计量的理论性质,首先在错误分布满足一定条件时建立一种罚函数回归估计器的局部统计一致性形式,并在这种条件下证明了这些估计器的极小化误差达到了 Lasso 估计量亚高斯错误的极小值,接着通过使用合适的非凸正则化器代替 l1 惩罚,证明了这些稳态点实际上是独一无二的,并等于正确支持的本地 Oracle 解,这对于有效地处理重尾误差具有重要的影响。
Jan, 2015
基于矩阵的噪声观测,我们构建了一个弹性框架以推断其线性形式,我们提出了一种构建渐近正常估计量的普遍过程,以进行双重样本去偏差和低秩投影,从而允许我们构建线性形式的置信区间并检验假说。
Aug, 2019
本文提出了一种新的回归方法,根据样本大小相对于稀疏性条件,在稀疏条件下获得每个精度矩阵条目的渐近高效估计,以解决高斯图模型中有关样本大小问题的难点,同时实现了整个精度矩阵的自适应速率最优估计及在潜变量的图模型中进行推断。
Sep, 2013
本论文研究线性回归问题并提出了一种新的算法,它能够在存在离群值的情况下,对有限矩(至 $L_4$)的样本进行最佳的次高斯误差边界估计,并且通过使用谱方法研究了线性回归问题与最远超平面问题之间的关系,同时引入了第三个经验过程进行统计学属性的研究。
Jul, 2020
提出了一种基于梯度下降算法的非凸优化的低秩矩阵估计的统一框架,其通用性很强,可应用于噪声和无噪声观测,算法能够线性收敛到未知低秩矩阵的最小最优统计误差,同时也能够以线性速率收敛到未知低秩矩阵,并以最优样本复杂度实现精确恢复。
Oct, 2016
本文提出一种针对高维张量数据的估计和推断方法,通过假设数据遵循张量正态分布来简化精度矩阵的估计,使用交替迭代优化算法估计每个稀疏精度矩阵,并且提出一种去偏置统计推断方法来控制虚警率,实证结果证实了该方法在自闭症谱系障碍和广告点击分析等实际应用上的有效性,同时我们将其编码为一个名为 Tlasso 的公开的 R 包。
Sep, 2016