超高维非凸惩罚回归的校准
提出了一种近似正则化路径追踪方法,用于求解许多具有非凸问题求解的学习问题,该算法迭代复杂度与全正则化路径相同,可以同时提供统计和计算收敛率的显式表达式,并可以实现全局几何收敛,以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。
Jun, 2013
在处理高维稀疏线性模型、有重尾分布和 / 或异常点污染的数据时,研究正则化鲁棒 M - 估计量的理论性质,首先在错误分布满足一定条件时建立一种罚函数回归估计器的局部统计一致性形式,并在这种条件下证明了这些估计器的极小化误差达到了 Lasso 估计量亚高斯错误的极小值,接着通过使用合适的非凸正则化器代替 l1 惩罚,证明了这些稳态点实际上是独一无二的,并等于正确支持的本地 Oracle 解,这对于有效地处理重尾误差具有重要的影响。
Jan, 2015
研究了具有 Lipschitz 损失函数的高维广义线性模型,并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数,在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。
Apr, 2008
本文提供了关于正则化 M - 估计器局部最优解的新理论结果,覆盖了许多感兴趣的非凸目标函数,包括误差 - 变量线性模型的校正套索方法,具有非凸罚项的广义线性模型回归,以及高维图模型估计,我们提供了误差的上限,证明了我们的理论结果,同时提出了一种简单的修改方法,使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解,这是任何一阶方法可能达到的最快速度。
May, 2013
本文研究考虑设计误差的线性回归模型,针对在实践应用中常见但引入噪声的自变量情况,提出了一种基于稀疏性假设的估计方法,并指出该方法在极小化期望风险下是近乎最优的。所提出的估计方法可以通过解线性规划问题实现高效计算,同时具有达到极小化效率界的估计量。
Aug, 2014
研究高维稀疏线性回归问题在存在噪声、缺失或相关的数据时的情况下,提出了基于投影梯度下降的估计器,并且证明其在多项式时间内收敛到所有全局最小值的近邻,并给出了在统计和计算两个方面的理论保证。
Sep, 2011
本文利用凸惩罚函数提出了一种可变选择方法,该方法通过使用局部线性逼近算法在广泛的凹惩罚函数范围内最大化罚函数,每一步局部线性逼近都可以自然地采用稀疏表示方法,通过实验结果表明,这种稀疏估计方法的结果非常鼓舞人心。
Aug, 2008
本文研究了在稀疏、高维、线性回归模型中,随着样本大小的增加,协变量数目可能增加时,SCAD 惩罚的最小二乘估计量的渐近特性。我们特别关注该估计量用于同时进行变量选择和估计的情况。我们证明在适当条件下,SCAD 惩罚最小二乘估计量在变量选择方面是一致的,而在非零系数的估计量具有与零系数事先已知的情况下一样的渐进分布,模拟研究表明该估计量在变量选择和估计方面表现良好。
Sep, 2007
本研究提出了一种针对高维线性混合效应模型的 $\ell_1$- 惩罚估计过程,该模型对于高维观测中存在分组结构的数据非常有用。我们证明了一致性和优化性结果,并开发了一种具有可证明数值收敛性的算法。此外,我们还在模拟和实际高维数据集上展示了该方法的性能。
Feb, 2010
本篇论文提出了一个理论框架,表明在适当的条件下,非凸正则化的全局解决方案可导致理想的稀疏恢复性能,并且在合适的条件下,全局解决方案对应于唯一的稀疏局部解决方案,其可通过不同的数值方法获得。该统一框架为凹形高维稀疏估计过程提供了更加令人满意的处理方法,并作为凹形正则化进一步数值程序发展的指导方针。
Aug, 2011