本文介绍了如何将一个经典的稀疏正则化模型 with an l0 范数惩罚转化为凸松弛的形式,在此基础上通过引入远离凸性的惩罚函数,如 Minimax Concave Penalty (MCP) 以及 reverse Huber penalty,进一步推导出新的解法,并且可以通过半定松弛方法求解。文章最终通过 Goemans-Williamson 圆整算法来找到近似解。
Oct, 2015
探究如何在学习排名中将特征选择集成入学习过程中,并且提出了一种使用 SVM 和稀疏正则化术语进行特征选择的通用框架。
Jul, 2015
本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术,包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时,我们提供了一组广泛的实验来比较各种算法在计算方面的差异。
Aug, 2011
本文实现了基于凸松弛和非凸约束的高维学习问题,包括量子重构、稀疏密度估计和组合优化等领域,以简单形式解决这些问题。
Jun, 2012
提出了解决稀疏逻辑回归和使用非凸惩罚项解决稀疏逻辑回归的优化框架,以同时进行分类和特征选择。通过实证实验,证明了所提算法在具有现实数据集的二分类任务中能够有效地进行分类和特征选择,且计算成本较低。
Sep, 2023
本文研究了通过透视重构技术寻找紧凑扩展表达式来解决在机器学习中出现的在约束范围内最小化排名一凸函数的优化问题,通过建立一般锥混合二进制集合的凸包结果,并展示了这种方法能够针对非线性可分离的客观函数、连续变量符号约束、指示器变量组合约束的约束关系进行透视式的解法。此方法在解决稀疏非负逻辑回归问题上表现出高效性。
Mar, 2023
本文介绍了一种基于结构规则的稀疏估计方法,通过应用不仅仅关注稀疏性,而且可以考虑一些结构化先验知识,这种方法可以处理多种结构的问题。同时,我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。
Sep, 2011
本篇论文提出了一个理论框架,表明在适当的条件下,非凸正则化的全局解决方案可导致理想的稀疏恢复性能,并且在合适的条件下,全局解决方案对应于唯一的稀疏局部解决方案,其可通过不同的数值方法获得。该统一框架为凹形高维稀疏估计过程提供了更加令人满意的处理方法,并作为凹形正则化进一步数值程序发展的指导方针。
本论文使用原始 - 对偶见证证明方法证明了在回归问题中,即使损失函数和 / 或正则化器是非凸的,也可以建立变量选择一致性和 l∞- 界限。使用这种方法,我们得出了两个关于支持恢复和 l∞ - 保证回归估计器的定理,我们的结果为使用非凸正则化器提供了严格的理论依据
Dec, 2014
提出了一种近似正则化路径追踪方法,用于求解许多具有非凸问题求解的学习问题,该算法迭代复杂度与全正则化路径相同,可以同时提供统计和计算收敛率的显式表达式,并可以实现全局几何收敛,以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。
Jun, 2013