协方差估计:广义线性模型和正则化视角
本文提出了一种高维多元回归模型,通过惩罚条件对每个响应变量对其他变量的依赖结构进行建模,以构造稀疏的多元回归系数矩阵估计,同时估计稀疏的逆协方差矩阵。该方法能够同时进行多元回归和协方差矩阵的估计,并在一个假设条件下得到渐近选择一致性与正态性,其有效性在多个模拟实验和对 Glioblastoma multiforme 的应用中得到验证。
Jun, 2013
这篇论文提供了一个统一的框架,以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度,指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性,这些特性在许多经典案例中也是最优的
Oct, 2010
本文介绍用于矩阵补全、量子状态重构和压缩感知的迹回归模型。如果底层矩阵为对称半正定 (spd),且设计满足特定条件,那么优化方法的选择可能不再需要如核范数正则化这类方法,而简单的最小二乘估计法可能与正则化方法相当。
Apr, 2015
本研究提出了一种基于牛顿法的新型算法,用于解决优化问题,该问题是一个正则化的对数行列式程序,能够从非常有限的样本中恢复稀疏逆协方差矩阵,或者是高斯马尔科夫随机场的基础图结构,并通过合成和真实的应用数据实验结果表明,与其他最先进的方法相比,我们的方法在性能上有了显着的改进。
Jun, 2013
本文介绍了一种修改后的矩阵变量正态分布,即均值受限制的矩阵变量正态分布,可以用于最大似然估计和缺失数据插补,特别适用于高维数据。在多元和可转置的框架中,本文提出了一种基于 EM 算法的缺失数据插补方法,并表明这种插补方法优于现有方法并具有更大的灵活性。
Jun, 2009
提出一种构建稀疏估计器的方法,用于高维背景下的逆协方差(浓度)矩阵,使用罚函数正态似然方法强制使用 Lasso 型惩罚,并在数据维数 $p$ 和样本量 $n$ 随着增长收敛速率之间建立 Frobenius 范数。同时对真实浓度矩阵进行稀疏度量,提出一种基于相关性的方法,在操作规范下具有更好的收敛速率,推出一种快速迭代算法用于计算估计值,利用常用的 Cholesky 分解反演,得到一种置换不变的估算法,文中将这种方法应用于癌症组织分类的基因表达数据上,并与其他估算方法进行了比较。
Jan, 2008
本文研究了一种将参数组织成矩阵的学习方式,采用矩阵范数来适当地规范参数以实现更复杂的先验知识。基于已知的对偶事实,即函数相对于某些范数是强凸的,当且仅当其共轭函数相对于对偶范数是强平滑的,我们的方法是基于统计学性质来确定合适的正则化函数。通过将这个框架应用于多任务学习、多类学习和核学习中,并推导出新的广义化和失误上限,我们展示了这个方法的潜力。
Oct, 2009
本文介绍了一种简单的过程来解决高维数据的缺失协方差矩阵估计问题,该方法不需要对缺失数据进行插补,并建立了非渐进稀疏奥尔克不等式,最后证明了其速率是渐进最优的。
Jan, 2012
通过硬截断的方式对 $p$ 个变量从 $n$ 个观测值中估计的协方差矩阵进行正则化,结果表明如果真实的协方差矩阵在适当意义下是稀疏的,变量是高斯的或亚高斯的,并且 $(log p)\/n\to0$,则截断估计在算子范数下是一致的,并获得了明确的收敛速率;结果在满足相当自然的稀疏性概念的协方差矩阵族上是统一的。在阈值选择方面,我们讨论了一种直观的重采样方案,并证明了一般交叉验证结果来证明这一方法的合法性。此外,我们还通过模拟和气候数据实例,将截断估计与其他协方差估计方法进行比较。
Jan, 2009