Aug, 2017

顺序回归过程中何时选择第一个虚假变量？

PDF
TL;DR研究表明，在稀疏水平的情况下，顺序回归程序中的第一个虚假变量出现得越来越早。这种反直觉的现象是独立高斯随机设计和真实效应任意大的情况下具有持久性的。通过识别其潜在原因，我们介绍了一个简单的可视化工具 - double-ranking diagram，以改进序列方法，并获得了第一个证明套索和最小角回归在正交设计之外的解决路径的早期阶段的确切等价的证明。
sequential regression proceduressparsity levelsdouble-ranking diagramlassoleast angle regression
发现论文，激发创造
  • 套索路径上早期发生错误的发现

    本文探讨当解释变量存在极低相关性和相对较少的效应，以及这些效应都具有大幅度的影响力时，在一个线性稀疏的情况下，Lasso 算法无法正确找出重要变量的问题，并得出了在 Lasso 路径上假正率和假负率的渐近折衷关系。

    Nov, 2015

  • 高维变量选择

    本文讨论了在高维模型中进行变量选择时可以给出什么样的统计保证，并以某些多阶段回归方法的误差率和功率为例。我们考虑了三种筛选方法：套索、边际回归和前向逐步回归，提出了在某些条件下一致的变量选择方法。

    Apr, 2007

  • Lasso 方法的显著性检验

    本文提出一个基于套索回归路径的协方差检验统计量，结合自适应和收缩的特性，可用于在稀疏线性回归模型下对预测变量重要性进行显著性检验。

    Jan, 2013

  • 预测套索

    本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。

    Sep, 2010

  • 回归中的相关变量：聚类与稀疏估计

    利用基于规范相关的层次聚类算法，针对强相关的高维线性模型提出了一种首先聚类变量然后进行稀疏估计的方法，其中对聚类代表采用 Lasso 算法或结构基于聚类的组 Lasso 算法进行后续稀疏估计，并给出理论分析和实验证明了该方法的优越性。

    Sep, 2012

  • 具相关预测变量的贝叶斯变量选择

    本文提出了一种基于贝叶斯方法的变量选择算法，考虑了预测变量之间的关联，并针对各种线性模型开发了不同的先验分布，其中包括任意交互项和多项式、分类因子的虚拟变量等，这种方法在 George 和 McCulloch Stochastic Search Variable Selection 算法中得到了应用，能够提高模型的性能。

    Oct, 1995

  • 高维线性回归中套索选择的稀疏性和偏差

    本文针对相关设计变量的稀疏 Riesz 条件，研究 LASSO 在模型选择中的速率一致性，并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。

    Aug, 2008

  • 序列数据的不变因果预测

    本文提出了一种方法来从时间序列数据中推断出因果关系，该方法能够识别因果预测变量并保持环境和异质性模式不变。

    Jun, 2017

  • 具有缩小和扩散先验的贝叶斯变量选择

    提出一种基于贝叶斯方法、将先验分布放置在回归系数以及模型空间上、使用针对高维协变量的针尖和板块高斯先验、通过 Gibbs 抽样执行的变量选择方法，具有可靠的选择一致性和优于其他方法的良好性能。

    May, 2014

  • Lasso 方法下的高维图表与变量筛选

    该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

    Aug, 2006