稀疏非凸学习问题的最优计算和统计收敛速率
本文提供了关于正则化 M - 估计器局部最优解的新理论结果,覆盖了许多感兴趣的非凸目标函数,包括误差 - 变量线性模型的校正套索方法,具有非凸罚项的广义线性模型回归,以及高维图模型估计,我们提供了误差的上限,证明了我们的理论结果,同时提出了一种简单的修改方法,使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解,这是任何一阶方法可能达到的最快速度。
May, 2013
在处理高维稀疏线性模型、有重尾分布和 / 或异常点污染的数据时,研究正则化鲁棒 M - 估计量的理论性质,首先在错误分布满足一定条件时建立一种罚函数回归估计器的局部统计一致性形式,并在这种条件下证明了这些估计器的极小化误差达到了 Lasso 估计量亚高斯错误的极小值,接着通过使用合适的非凸正则化器代替 l1 惩罚,证明了这些稳态点实际上是独一无二的,并等于正确支持的本地 Oracle 解,这对于有效地处理重尾误差具有重要的影响。
Jan, 2015
研究非凸优化问题中梯度下降算法的隐式正则化特性,证明在多种统计模型中,梯度下降算法在没有显式正则化的情况下也能够实现正则化,并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。
Nov, 2017
对于大部分基于凸优化的统计 $M$- 估计器,我们分析了解决这些问题的渐进收敛速度,并在高维框架中工作,我们定义了适当限制的条件,并证明了这些条件适用于各种统计模型,我们的理论保证了项目的概率几何收敛速度不断提高,最高可达到模型的统计精度,这个结果比以往收敛结果更加尖锐,这适用于 $M$- 估计器和各种统计模型,展现了高维估计中统计精度和计算效率的有趣联系。
Apr, 2011
本文利用凸惩罚函数提出了一种可变选择方法,该方法通过使用局部线性逼近算法在广泛的凹惩罚函数范围内最大化罚函数,每一步局部线性逼近都可以自然地采用稀疏表示方法,通过实验结果表明,这种稀疏估计方法的结果非常鼓舞人心。
Aug, 2008
本篇论文提出了一个理论框架,表明在适当的条件下,非凸正则化的全局解决方案可导致理想的稀疏恢复性能,并且在合适的条件下,全局解决方案对应于唯一的稀疏局部解决方案,其可通过不同的数值方法获得。该统一框架为凹形高维稀疏估计过程提供了更加令人满意的处理方法,并作为凹形正则化进一步数值程序发展的指导方针。
Aug, 2011
本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案,旨在从线性测量的过少的系统中重构出一个稀疏信号,考虑到受限等距假设,我们展示了有一定参数下,预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法,可以在费用与读取 poly-logarithmic 因子的数据一样的代价下,实现极小化率。除了最小化控制,我们还展示了当信噪比足够高时,算法会适应实例的困难度并产生一个与维度无关的率。实现算法的关键是一个逐渐增加的步长方案,根据对真实解的精细估计进行适应。我们通过数值实验验证了我们的发现并将我们的算法与显式 Λ1 惩罚进行了比较。从难实例到容易实例,我们看到我们的算法经历了一个相变,最终与具有真正的支持知识的最小二乘拟合器匹配。
Sep, 2019
研究了稀疏非线性回归的参数估计和渐近推断,提出了一种 $\ell_1$ 正则化最小二乘估计器,并证明了在温和条件下,目标函数的每个驻点都享有最优的统计收敛速率,并提供了有效的算法来获得估计器的不确定性,同时用数字结果支持了我们的理论。
Nov, 2015
本文提出一种针对高维张量数据的估计和推断方法,通过假设数据遵循张量正态分布来简化精度矩阵的估计,使用交替迭代优化算法估计每个稀疏精度矩阵,并且提出一种去偏置统计推断方法来控制虚警率,实证结果证实了该方法在自闭症谱系障碍和广告点击分析等实际应用上的有效性,同时我们将其编码为一个名为 Tlasso 的公开的 R 包。
Sep, 2016
研究非线性模型下的监督学习与变量选择问题,提出一种基于偏导数的非参数稀疏模型,利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法,并通过理论和实验分析表明其具有优秀的性能表现。
Aug, 2012