提出了一种近似正则化路径追踪方法,用于求解许多具有非凸问题求解的学习问题,该算法迭代复杂度与全正则化路径相同,可以同时提供统计和计算收敛率的显式表达式,并可以实现全局几何收敛,以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。
Jun, 2013
本文提出了一种基于 Laplacian quadratic 的罚函数的稀疏 Laplacian 收缩(SLS)方法,该方法能在鼓励稀疏性和促进相关预测变量之间平滑性的前提下,具有图表示的广义分组特性,并通过坐标下降算法进行计算。该方法表现优异且拥有选定一致性,适用于高维数据下的变量选择和估计。
Dec, 2011
本文提出了一种基于得分的结构学习快速算法的罚似然估计框架,该快速算法不受限制地处理高维数据集,并使用凹规则化以解决估计问题的固有不可识别性。其中,高斯贝叶斯网络是重点研究领域之一。
Jan, 2014
本文提供了关于正则化 M - 估计器局部最优解的新理论结果,覆盖了许多感兴趣的非凸目标函数,包括误差 - 变量线性模型的校正套索方法,具有非凸罚项的广义线性模型回归,以及高维图模型估计,我们提供了误差的上限,证明了我们的理论结果,同时提出了一种简单的修改方法,使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解,这是任何一阶方法可能达到的最快速度。
May, 2013
该研究提出了两种基于近端梯度方法的算法,用于在拟似似然框架中执行 l1 - 正则化的逆协方差矩阵评估,证明了该方法具有很好的收敛性和可扩展性。
Sep, 2014
使用加入 l1-norm 惩罚项的最大似然问题的解决办法来估计高斯或二元分布参数,以得到稀疏的无向图模型,并利用块坐标下降和 Nesterov's 一阶法等算法将复杂度限制在可接受范围内。
Jul, 2007
本文提出了一种基于新的拟然似然方法的图形模型选择方法,旨在克服当前方法的一些不足之处,并同时保留它们各自的优点。我们引入了一个新的框架,它导致了一个部分协方差回归图的凸形式。通过采用坐标 - wise 方法来优化这个目标,进而实现目标函数的优化。
Jul, 2013
我们提出了 MC+ 方法,一种快速、连续、几乎无偏和准确的高维线性回归罚项变量选择方法。该方法采用了最小化凸惩罚和惩罚线性无偏选择算法两个部分,能够在可控的阈值下选择变量并消除偏差,同时在罚项为零时提供普通最小二乘解来实现连续性。我们证明了 MC+ 方法具有选择一致性和一定的最小值收敛速率,可以适用于高维情况,且其估计值在采用 SURE 方法计算自由度和 $C_p$ 风险估计时是无偏的。
Feb, 2010
本文针对高维数据中变量数目远远大于样本量的情况,提出了一种有限混合回归模型。针对此类模型中的非凸问题,本文提出了一种 l1 - 惩罚最大似然估计方法,并使用有效的 EM 算法进行求解,同时也给出了一些渐近理论和预测间隔。
Feb, 2012
在处理高维稀疏线性模型、有重尾分布和 / 或异常点污染的数据时,研究正则化鲁棒 M - 估计量的理论性质,首先在错误分布满足一定条件时建立一种罚函数回归估计器的局部统计一致性形式,并在这种条件下证明了这些估计器的极小化误差达到了 Lasso 估计量亚高斯错误的极小值,接着通过使用合适的非凸正则化器代替 l1 惩罚,证明了这些稳态点实际上是独一无二的,并等于正确支持的本地 Oracle 解,这对于有效地处理重尾误差具有重要的影响。
Jan, 2015