本文介绍了一种基于结构规则的稀疏估计方法,通过应用不仅仅关注稀疏性,而且可以考虑一些结构化先验知识,这种方法可以处理多种结构的问题。同时,我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。
Sep, 2011
给定线性监督学习中基于结构稀疏性的正则化实验风险最小化问题,提出了变量子集上欧几里德范数的和来定义正则化稀疏性模型,并提出了前向和后向算法以及高效的主动集算法来解决该问题。分析了最小二乘线性回归在低维和高维情况下的变量选择的一致性。
Apr, 2009
本文从凸分析的角度介绍了子模函数,论述了子模函数最小化与各类凸优化问题的关系,提出了新的高效算法以及多种子模函数在机器学习中的应用。
Nov, 2011
本文实现了基于凸松弛和非凸约束的高维学习问题,包括量子重构、稀疏密度估计和组合优化等领域,以简单形式解决这些问题。
Jun, 2012
本文研究的是如何恢复一个结构化模型的问题,我们探讨了使用多目标优化得到的结果与只利用其中一个结构的算法的结果相当的现象。此外,我们还详细研究了稀疏低秩矩阵恢复问题所需的样本数,证明了本文提出的非凸公式在这种情况下表现比凸公式更好。
Dec, 2012
本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术,包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时,我们提供了一组广泛的实验来比较各种算法在计算方面的差异。
Aug, 2011
该论文介绍了如何将亚模模函数最小化算法扩展到近似最小化非亚模函数并给出了理论保证。
May, 2019
本文提出了一种基于理想 (凸包) 形式的新的计算稀疏回归的强凸松弛方式,采用半定优化问题在扩展空间中求解,具有更强更通用的性能。实验表明,所提出的锥形公式的解可以在几秒钟内求解,且在统计学上的预测精度和解释性上表现更佳。
Jan, 2019
研究非线性模型下的监督学习与变量选择问题,提出一种基于偏导数的非参数稀疏模型,利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法,并通过理论和实验分析表明其具有优秀的性能表现。
Aug, 2012
本文介绍了通过使用广义子模函数代替较简单的目标函数获得的几个传统计算机科学问题的推广,包括子模型负载平衡,子模型最稀疏切割和子模型平衡切割等,并建立了这些问题的近似界限。
May, 2008