探讨:三位表亲的故事:Lasso、L2Boosting 和 Dantzig
回复文献: `` 当 $p$ 远大于 $n$ 时的 Dantzig 选择器:统计估计 ''[math/0506081]
Mar, 2008
我们展示了 Lasso 估计器和 Dantzig 选择器间的近似等价性,并为两种方法推导出一般非参数回归模型中预测风险的并行 Oracle 不等式,以及在线性模型中在 1≤p≤2 的 l_p 估计损失的界限,当变量数量可以远大于样本容量时。
Jan, 2008
文章提出了基于稀疏假设的广义 LASSO 和 Dantzig Selector 方法,同时解决了 transductive 任务的问题。
Jun, 2009
我们提出了一种高维线性回归估计器:离散 Dantzig 选择器,它将最大绝对相关性约束在特征和残差之间的预算范围内,最小化非零回归系数的数量。并且提出了一种混合整数线性优化 (MILO) 方法来解决这个问题,这种方法相对于整数二次优化的最小二乘子集选择框架和连续非凸二次优化框架更具有计算性吸引力。我们还提出了一种新的离散一阶方法,与最先进的 MILO 求解器配合使用,为给定的计算预算提供了 Discrete Dantzig 选择器问题的良好解决方案。
Aug, 2015
研究调查了特定个体因果效应的度量 —— 条件平均处理效应(CATE)的估计和统计推断方法,使用线性模型定义 CATE 为这些线性模型的预期结果之间的差异,并通过高维线性回归方法进行一致性估计和统计推断,进一步使用双重 / 无偏机器学习(DML)和无偏 Lasso 技术减小偏差,通过模拟研究验证了方法的有效性。
Mar, 2024
本研究通过 Stein 无偏风险估计(SURE)来探究 lasso 的有效自由度,结果表明非零系数的数量是 lasso 的自由度的无偏估计量之一,不需要特殊的预测假设,并且该无偏估计量被证明是渐近一致的。结合 C_p、AIC 和 BIC 等多种模型选择标准以及 LARS 算法,可以高效地获得最佳的 lasso 拟合,计算成本与单个普通最小二乘拟合相当。
Dec, 2007
本文对两种常用的高维技术进行对比和调查,即 Lasso 与马蹄铁正则化技术,旨在理论上优化高维推理,提高计算效率和可扩展性,以及方法论的发展和性能方面。
Jun, 2017
本文介绍了一种新的算法,通过将 LSTD 与 Dantzig Selector 结合,解决了 L1 正则化与 LSTD 整合的困难问题,该算法适用于高维问题。
Jun, 2012
本文提出了一种自适应的 L1 - 罚函数定量分析方法,通过基于概率的非渐进性结果和新的 Bernstein 型不等式,以估计数量过程中的未知函数参数的线性组合形式对固定字典进行了选择,检验了不同字典假设下的巨额矩阵,并通过机械活动推断问题的仿真研究与自适应 Lasso 方法进行了比较。
Aug, 2012