稳健回归和Lasso
本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术,包括近端方法、块坐标下降、加权L2正则技术、工作集和家族方法以及非凸形式和扩展。同时,我们提供了一组广泛的实验来比较各种算法在计算方面的差异。
Aug, 2011
本文介绍了一种基于数据相关性的一般化界限,适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索(Lasso)、组套索(group Lasso)、一些具有重叠组的组套索版本、多核学习(multiple kernel learning)和其他正则化方案。在所有这些情况下,都可以获得有竞争力的结果。我们界限的新特点是,它可以应用于无限维度的设置,例如具有可分离的希尔伯特空间的套索(Lasso)或具有可数核的多核学习(multiple kernel learning)。
Aug, 2011
本文介绍了一种基于结构规则的稀疏估计方法,通过应用不仅仅关注稀疏性,而且可以考虑一些结构化先验知识,这种方法可以处理多种结构的问题。同时,我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。
Sep, 2011
本文介绍了一种名为“Sasvi”的方法,它基于变分不等式提供了更强的安全筛选规则,可用于稀疏学习模型的特征选择和计算效率优化。实验结果表明,Sasvi对Lasso筛选具有很强的可靠性和有效性。
Jul, 2013
本文提出了一种基于理想(凸包)形式的新的计算稀疏回归的强凸松弛方式,采用半定优化问题在扩展空间中求解,具有更强更通用的性能。实验表明,所提出的锥形公式的解可以在几秒钟内求解,且在统计学上的预测精度和解释性上表现更佳。
Jan, 2019
本文研究了使用最大均值差(MMD)来测量不确定性集合的DRO,证明了MMD DRO与希尔伯特范数的正则化基本等价,并揭示了与统计学习中的经典结果的深刻联系,并且通过DRO证明了高斯核岭回归的广义上界,从而得出一种新的正则化方法。
May, 2019
研究稀疏优化问题中的算法和局限性,探索稀疏线性回归和鲁棒线性回归问题,在此基础上展示了鲁棒回归问题的二准则、NP-近似困难性,给出了一个使用近似最近邻数据结构的鲁棒回归算法,并且介绍了一个从鲁棒线性回归到稀疏线性回归的通用带宽率约化算法。
Jun, 2022
本文提出了一个新的正则化的自适应tau-Lasso估计器,用于分析响应变量和协变量受到强烈污染的高维数据集,能够同时使用自适应L1范数惩罚项降低大真实回归系数与降低偏差的关联性,具有良好的鲁棒性和可靠性,表现比同类估计器更好或接近最佳,特别是在污染数据和期望回归矩阵/响应向量的情况下。同时也在探索鲁棒性质方面进行了验证。
Apr, 2023
本研究提出了一种新的方法来证明 Group LASSO 算法在稀疏凸优化中的一些特定情况下具有 recovery guarantees,为进一步解决列子集选择问题提供了新的策略。
Jul, 2023