Nov, 2023

超级学习者中变量筛选的实际考虑

PDF
TL;DR预测函数估计是许多数据分析的基本组成部分。Super Learner 集成是一种特定的层叠实现，具有可取的理论性质，并已成功应用于许多领域。在拟合其他预测算法之前，可以通过在集成中使用包括 Lasso 在内的变量筛选算法来实现维度降低。然而，在 Lasso 在性能较差的情况下，对使用 Lasso 进行维度降低的 Super Learner 的性能尚未完全探讨。我们提供经验证据表明，应使用多样的候选筛选算法来防止任何一个筛选泄漏的性能变差，类似于为 Super Learner 选择预测算法库的指导。
estimatingprediction functionsuper learner ensembledimension reductionscreening algorithms
发现论文，激发创造
  • 高维变量选择

    本文讨论了在高维模型中进行变量选择时可以给出什么样的统计保证，并以某些多阶段回归方法的误差率和功率为例。我们考虑了三种筛选方法：套索、边际回归和前向逐步回归，提出了在某些条件下一致的变量选择方法。

    Apr, 2007

  • 动态筛选：加速套索 (Lasso) 和分组套索 (Group-Lasso) 的一阶算法

    研究了一种基于动态筛选原则的算法，可在处理罚函数稀疏回归问题时更有效地筛选字典，提高运算效率。

    Dec, 2014

  • 预测套索

    本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。

    Sep, 2010

  • 超高维特征空间的稳健独立筛选

    该研究介绍了 Sure Independence Screening（SIS）概念，提出了一种基于相关学习的 SIS 方法来减少超高维度，进而通过 SCAD、Dantzig 选择、Lasso 或自适应 Lasso 等成熟方法来提高速度和准确率。

    Dec, 2006

  • 高维普通最小二乘投影筛选变量

    提出了一种名为高维 OLS 投影（HOLP）的新型筛选技术，该技术在无需强相关性假设的情况下，具有保证筛选性能和一致的变量选择，并具有较低的计算复杂度。

    Jun, 2015

  • 用变分不等式实现安全筛选及其在 LASSO 中的应用

    本文介绍了一种名为 “Sasvi” 的方法，它基于变分不等式提供了更强的安全筛选规则，可用于稀疏学习模型的特征选择和计算效率优化。实验结果表明，Sasvi 对 Lasso 筛选具有很强的可靠性和有效性。

    Jul, 2013

  • 惩罚式生成变量选择

    利用条件瓦狄斯坦生成对抗网络进行建模和估计，应用组 Lasso 惩罚实现变量选择，分析受截尾生存数据的收敛率、近似误差和效率，以及通过仿真和实验数据分析实际应用中的实用性。

    Feb, 2024

  • 高维变量筛选的一致性理论

    该论文研究了线性筛选方法的一类，并为该特殊类别建立了一致性理论。具体而言，我们证明了限制对角支配（RDD）条件是强筛选一致性的必要和充分条件。

    Feb, 2015

  • 最优决策桩的非参数变量筛选

    通过使用决策树，我们推导出了非参数模型中变量选择的有限样本性能保证，并发现决策树可以用于实现一致的模型选择，即使用于估计目的时高度不准确。

    Nov, 2020

  • 纵向 LASSO：联合学习特征和时间相关性进行结果预测

    提出一种利用基于 LASSO 的线性模型自动且同时选择相关特征和时间点的方法以及考虑数据非 i.i.d 性质的计算结果，并展示该方法比现有技术具有更好的表现。

    Oct, 2016