变量选择的难度
研究稀疏优化问题中的算法和局限性,探索稀疏线性回归和鲁棒线性回归问题,在此基础上展示了鲁棒回归问题的二准则、NP - 近似困难性,给出了一个使用近似最近邻数据结构的鲁棒回归算法,并且介绍了一个从鲁棒线性回归到稀疏线性回归的通用带宽率约化算法。
Jun, 2022
本文研究高维统计中的稀疏线性回归问题,特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法,提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进,以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。
May, 2023
研究非线性模型下的监督学习与变量选择问题,提出一种基于偏导数的非参数稀疏模型,利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法,并通过理论和实验分析表明其具有优秀的性能表现。
Aug, 2012
稀疏线性回归(SLR)是一个在统计学中研究得很多的问题,在该问题中,给定一个设计矩阵 X 和一个响应向量 y,目标是寻找一个最小化均方预测误差的 k - 稀疏向量 hat (theta),该问题在设计矩阵良好条件下可以通过 L1 松弛方法解决,本文提供了关于所有有效算法的平均情况困难性证据,并基于格问题的最差情况困难性给出了 SLR 的平均情况困难性证据,同时还讨论了可辨别与不可辨别的情形。
Feb, 2024
通过复杂性理论的标准假设(NP 不在 P/poly),我们证明了稀疏线性回归的极小化预测风险可以由多项式时间算法实现,但实际上实现优化算法时,二者之间存在差距。特别是在设计矩阵不良条件下,多项式时间算法可以实现的极小化预测损失可能会明显高于优化算法。这是首个已知的多项式和最优算法在稀疏线性回归中的差距,而且不依赖于平均时间复杂度的猜想。
Feb, 2014
研究的主要目标是解决高维非线性变量选择的问题,提出了一种基于多核学习框架和有向无环图的核函数选择方法,能够以多项式时间选择核函数,具有高预测性能。
Sep, 2009
本文回顾了特征选择领域内应用最广的方法,重点关注其精度和误检探测率随着样本数量增加的表现,并对比了常用的 Lasso 正则化方法以外,不太为人所知的非凸罚函数方法。通过实证分析,我们发现整数规划方案及其布尔松弛具有更优的性能表现,但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素,本文揭示了一些不同的特征选择方案,为相关领域的研究提供了参考依据。
Feb, 2019
本文研究高维贝叶斯线性回归的计算复杂度,介绍了一种截尾稀疏先验变量选择方法,通过 Metropolis-Hastings 算法,保证了变量选择的一致性和快速混合。
May, 2015
本文介绍了一种用于在线稀疏线性回归问题的算法,并在每次迭代时使用多项式时间限制来使遗憾较小。结果证明对于任何常数 δ> 0,没有算法可以使遗憾在 O (T ^(1-δ)) 以内,即使允许算法访问比最佳稀疏线性回归器更多的特征。
Mar, 2016