本文研究了在 lasso 模型中添加凸约束来生成稀疏交互模型,从而满足交互限制,并给出了关于这种层级约束的精确特征描述和无偏估计,同时还提出了偏差度量方法,并针对算法提出了几点优化方案。
May, 2012
本文介绍了一种新的基于高斯过程的贝叶斯方法,能够通过使用 O(p)内核超参数来捕获后验概率,从而实现运行时间和内存直接线性相关,并且通过实验表明其在各种协变量行为的数据集上相对于现有贝叶斯和 LASSO 方法具有更好的计算缩放和错误率。
May, 2019
本文讨论了在高维模型中进行变量选择时可以给出什么样的统计保证,并以某些多阶段回归方法的误差率和功率为例。我们考虑了三种筛选方法:套索、边际回归和前向逐步回归,提出了在某些条件下一致的变量选择方法。
Apr, 2007
本文提出了一种被称为交互追踪(IP)的有效和灵活的程序,用于在超高维度下识别交互作用,其屏蔽交互作用和主效应的新特征筛选方法以及使用正则化方法在减少特征空间中选择重要交互作用和主效应,我们对其进行了理论上的讨论并证明了适用于交互作用和主效应,其具有将被筛选的确信性以及在选择中具有奥拉克不等式等性质。
May, 2016
本文提出了一种启发式方法,通过临时舍弃条件独立于特征集所选择的变量,在保持预测准确性的同时显著提高了前向 - 后向选择算法的运行效率,并在能够被贝叶斯网络或最大祖先图恰当表示的分布中,能够正确识别马尔科夫毯子。
May, 2017
本文提出了一种基于贝叶斯方法的变量选择算法,考虑了预测变量之间的关联,并针对各种线性模型开发了不同的先验分布,其中包括任意交互项和多项式、分类因子的虚拟变量等,这种方法在 George 和 McCulloch Stochastic Search Variable Selection 算法中得到了应用,能够提高模型的性能。
Oct, 1995
该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计,实现了变量选择,并控制了图中误连接不同的连通分量的概率,最终实现了稀疏图的一致性估计。
Aug, 2006
本文综述了贝叶斯及相关方法在高维模型中的性质,如许多正常问题,线性回归,广义线性模型,高斯和非高斯图模型等。同时也讨论了有效的计算方法。
Jan, 2021
本文简要介绍了高维统计推断中变量选择的理论、方法和实现的最近发展,强调单峰罚函数的统计性质及其在高维统计建模中的作用,同时还回顾了独立筛选和两种方法在超高维变量选择方面的最近进展。
Oct, 2009
提出一种利用基于 LASSO 的线性模型自动且同时选择相关特征和时间点的方法以及考虑数据非 i.i.d 性质的计算结果,并展示该方法比现有技术具有更好的表现。
Oct, 2016