Sep, 2014

高维模型的统计理论

PDF
TL;DR这篇论文讨论了 Lasso 和去稀疏化 Lasso 的预测误差、渐进线性性及其应用：构建感兴趣参数的置信区间和精度矩阵的去稀疏化估计器，同时考虑经典的 chaining 和通用的 generic chaining 方法，并结合浓度不等式来证明偏差不等式。
发现论文，激发创造
  • 高维广义线性模型与套索法

    研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

    Apr, 2008

  • 高维回归中的假设检验： 高斯随机设计模型下的渐近理论

    本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中，单个回归系数的 p-value 计算问题，证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解，最后通过统计物理中的 Replica heuristics，推导出普遍高斯设计的标准分布极限。

    Jan, 2013

  • 基于 Lasso 的高维 Cox 回归的非渐进 Oracle 不等式

    本研究通过使用 lasso，对高维度 Cox 回归的有限样本特性进行了考虑，我们首先将负对数部分似然函数通过一下非 iid 的和式进行了估计，然后利用点态论证方法，针对这种缺乏 iid 和 Lipschitz 特性的情况，导出了 Lasso 惩罚 Cox 回归的非渐进式 Oracle 不等式。

    Apr, 2012

  • 高维统计中超高斯性的应用：协方差估计和线性回归方面的探索

    本文提出了新型 Orlicz 偏差的概念 —— 广义 Bernstein-Orlicz 偏差，并基于更一般的指数类（即子 Weibull）尾巴假设，推导了一系列与高维统计分析有关的概率学不等式，进而应用于高维数据分析领域，包括 HD 协方差矩阵估计和 Lasso 估计器的收敛率分析等。

    Apr, 2018

  • 部分标记的情况下 Lasso 预测误差

    研究了 Lasso 估计器在事实和半监督学习的风险界限，提出了新的适应 lasso 到有限的响应变量和有限的高维协变量的设置，并建立了期望和差异的 oracle 不等式。

    Jun, 2016

  • 多元点过程的套索和概率不等式

    本文提出了一种自适应的 L1 - 罚函数定量分析方法，通过基于概率的非渐进性结果和新的 Bernstein 型不等式，以估计数量过程中的未知函数参数的线性组合形式对固定字典进行了选择，检验了不同字典假设下的巨额矩阵，并通过机械活动推断问题的仿真研究与自适应 Lasso 方法进行了比较。

    Aug, 2012

  • Lasso 分布：稀疏球的统一控制和自适应参数调整

    研究证明，对于一个标准的随机设计模型，在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。

    Nov, 2018

  • 高维回归假设检验的几乎最优样本大小

    针对高维线性回归模型的参数拟合问题，考虑基于 Lasso 惩罚的最小二乘估计器的置信区间和 p 值的构造及去偏的版本，进一步在随机设计模型的情形下进行研究，并提出了更优的平均检测功率的分析结果。

    Nov, 2013

  • 高维鲁棒 M 估计量的统计一致性和渐近正态性

    在处理高维稀疏线性模型、有重尾分布和 / 或异常点污染的数据时，研究正则化鲁棒 M - 估计量的理论性质，首先在错误分布满足一定条件时建立一种罚函数回归估计器的局部统计一致性形式，并在这种条件下证明了这些估计器的极小化误差达到了 Lasso 估计量亚高斯错误的极小值，接着通过使用合适的非凸正则化器代替 l1 惩罚，证明了这些稳态点实际上是独一无二的，并等于正确支持的本地 Oracle 解，这对于有效地处理重尾误差具有重要的影响。

    Jan, 2015

  • Lasso 和 Dantzig Selector 的同步分析

    我们展示了 Lasso 估计器和 Dantzig 选择器间的近似等价性，并为两种方法推导出一般非参数回归模型中预测风险的并行 Oracle 不等式，以及在线性模型中在 1≤p≤2 的 l_p 估计损失的界限，当变量数量可以远大于样本容量时。

    Jan, 2008