Feb, 2010

使用 $l_1$ 惩罚的高维线性混合效应模型估计

PDF
TL;DR本研究提出了一种针对高维线性混合效应模型的 $\ell_1$- 惩罚估计过程，该模型对于高维观测中存在分组结构的数据非常有用。我们证明了一致性和优化性结果，并开发了一种具有可证明数值收敛性的算法。此外，我们还在模拟和实际高维数据集上展示了该方法的性能。
linear mixed-effects models$\ell_1$-penalized estimationclustered datanumerical convergencehigh-dimensional observations
发现论文，激发创造
  • 关于 L1 惩罚稀疏精度矩阵估计的不一致性

    本文研究了基于 L1 范数的估计方法在一类带稀疏潜变量模型中的一致性问题，证明了存在变量近似线性相关的情况下这些方法会失效，而且 L1 方法在实际的基因网络中也不可靠。

    Mar, 2016

  • 基于 $l_1$ 和 $l_1+l_2$ 惩罚的线性和逻辑回归模型中的诚实变量选择

    本论文探讨了利用 $\ell_1$ 和 $\ell_1+\ell_2$ 型惩罚方案进行有限样本下的变量选择的正确方法，并研究了在给定的置信水平下，如何通过样本大小、参数数量等因素来确定信号强度和调整参数值的条件。同时，该文分析证明了在可识别模型中，这两种方法均可以恢复大小为 $1/\sqrt {n}$ 的系数。

    Aug, 2008

  • 混合回归模型的 L1 正则化

    本文针对高维数据中变量数目远远大于样本量的情况，提出了一种有限混合回归模型。针对此类模型中的非凸问题，本文提出了一种 l1 - 惩罚最大似然估计方法，并使用有效的 EM 算法进行求解，同时也给出了一些渐近理论和预测间隔。

    Feb, 2012

  • 利用 $\ell_1$ 惩罚的 Huber $M$ 估计器对稀疏线性模型进行异常值鲁棒性估计

    研究了在高斯设计和加性噪声的线性模型中，估计一个 p - 维 s - 稀疏向量的问题，证明当标签受到至多 o 个敌对异常数据的污染时，基于 n 个样本的 L1 惩罚 Huber's M - 估计量达到最优的收敛速率 (s /n)^ {1/2} +（o /n），更一般的设计矩阵结果强调了转移原则和无相干性质的重要性，并证明适当的常数加上这些属性可以实现最优的强鲁棒估计率，最高可达对数因子，具有敌对扰动。

    Apr, 2019

  • GLMMLasso：一种使用 L1 惩罚的高维广义线性混合模型算法

    我们提出了一个 L1 惩罚算法，用于拟合高维广义线性混合模型，并建议使用最大似然重新拟合模型。在模拟和实际数据示例中，我们演示了该算法的性能，并在 R 包 glmmixedlasso 中实现了该算法。

    Sep, 2011

  • 高维广义线性模型与套索法

    研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

    Apr, 2008

  • 同时稀疏和低秩矩阵的估计

    本文介绍了一种罚矩阵估计过程，旨在同时具有稀疏和低秩的解决方案。我们引入了一个凸混合惩罚，同时涉及 l1 范数和迹范数。我们在链接预测问题中限制了广义误差，并开发了近端下降策略以有效解决优化问题，并在合成和真实数据集上评估了性能。

    Jun, 2012

  • 局部高斯图模型估计

    本文研究了从高维实证观测中对高斯图模型进行部分估计的方法，提出了使用 $\ell_1$-regularized 最大似然估计的凸优化模型，并采用块坐标下降算法进行求解。实验证明该方法在统计估计性能和实际应用中表现优异。

    Sep, 2012

  • 关于带有 L1 正则化的最小二乘回归的一些尖锐性能界

    通过参数估计准确性和特征选择质量两个角度，我们得出了最小二乘回归与 $L_1$ 正则化的性能边界。对于 $L_1$ 正则化得出的主要结果扩展了 Dantzig 选择器中 [Ann.Statist.35 (2007) 2313-2351] 类似的结果，并肯定回答了 [Ann.Statist.35 (2007) 2358-2364] 中的一个未解问题。此外，该结果还产生了一种更广泛的特征选择观点，该观点比一些最近的工作具有更少的约束条件。基于理论洞察力，我们分析了具有选择性处罚的新型两阶段 $L_1$ 正则化过程，并表明如果目标参数向量可以分解为具有大系数的稀疏参数向量和具有相对较小系数的其他较少稀疏向量的总和，则两阶段过程可以提高性能。

    Aug, 2009

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011