自适应Lasso,迁移Lasso,及其展望:一个渐近的观点
本文研究了使用组套 Lasso 进行带有正则化的最小二乘回归问题的渐近一致性和多核学习的无限维情况下的一致性性质,并提出了自适应方案以获得一致的模型估计。
Jul, 2007
本文考虑了最小二乘线性回归问题,通过L1范数进行正则化。通过详细的渐近分析,计算了正确的模型选择(即变量选择)的概率的渐近等价。提出了一种名为Bolasso的变量选择算法,并在合成数据和UCI机器学习仓库中的数据集上进行了比较。
Apr, 2008
本文提出了一种新的罚函数——迹Lasso来稳定估计设计矩阵相关的线性模型的参数向量,并提出了一种改进的最小二乘优化算法,模拟实验结果表明,该方法相比于其他方法(如弹性网)更适用于强相关情况。
Sep, 2011
本文提出了一种启发式方法,通过临时舍弃条件独立于特征集所选择的变量,在保持预测准确性的同时显著提高了前向-后向选择算法的运行效率,并在能够被贝叶斯网络或最大祖先图恰当表示的分布中,能够正确识别马尔科夫毯子。
May, 2017
本研究提出了新的高维参数优化方法(LassoBench),并在 Weighted Lasso 压缩感知模型上进行了评估,结果表明贝叶斯优化和进化策略可以改善目前稀疏回归的方法,同时也指出了这些框架在高维和噪声环境下的限制。
Nov, 2021
本文提出了一个新的正则化的自适应tau-Lasso估计器,用于分析响应变量和协变量受到强烈污染的高维数据集,能够同时使用自适应L1范数惩罚项降低大真实回归系数与降低偏差的关联性,具有良好的鲁棒性和可靠性,表现比同类估计器更好或接近最佳,特别是在污染数据和期望回归矩阵/响应向量的情况下。同时也在探索鲁棒性质方面进行了验证。
Apr, 2023
非参数回归的传递学习研究中,开发了一种自信阈值估计器,该估计器被证明在寻找最小最大风险时能够实现对数因子的最优性。结果展示了传递学习中的两个独特现象:自动平滑和超加速,这两者使之与传统环境下的非参数回归有所区别。随后,提出了一种数据驱动算法,能够自适应地在广泛的参数空间内达到对数因子的最小最大风险。通过模拟研究来评估自适应传递学习算法的数值性能,并提供了一个实际例子以演示所提方法的好处。
Jan, 2024
给定的研究论文提出了适用于Lasso的近似公式,通过该公式可以更新去偏Lasso的系数。论文证明了该近似公式在具有有界条件数协方差矩阵的亚高斯型设计矩阵情况下渐进收敛,并给出了一些具体应用案例。
May, 2024
本研究解决了高维稀疏回归中超参数选择策略缺乏有效指导的问题,提出了一种基于尖锐渐近分析的方法。研究表明,在精细调整阶段忽略两种信息来源之一对泛化性能影响甚微,从而明显简化了超参数选择的过程。理论发现得到了IMDb数据集的实证支持,展示了方法的实际应用潜力。
Sep, 2024