组稀疏加性模型
本文介绍了一种新的高维非参数回归和分类方法 —— 稀疏加性模型(SpAM)。该方法将稀疏线性建模和加性非参数回归的思想结合起来,可以处理样本量小于协变量数的情况,并且能够使用任意非参数平滑器。实验结果证明,该方法能够有效地拟合高维数据中的稀疏非参数模型。
Nov, 2007
本研究通过图形模型的理解和动态规划技术,基于组稀疏模型的组结构,解决了组模型选择问题,提出了一种修正的组模型,并研究了两个可操作的模型的群稀疏逼近的 Pareto 前沿以及选择和计算的权衡。
Mar, 2013
该论文探讨了基于群回归的线性模型问题,提出了一种更加通用的罚函数,该罚函数将 L1 范数和群 L2 范数相融合,可以同时稀疏化群和个体特征。此外,为了解决该问题,提出了一种基于坐标下降的高效算法,该算法也适用于处理非正交模型矩阵的群回归的一般形式。
Jan, 2010
本文提出了一个基于强群体稀疏概念的群体 Lasso 理论。研究结果表明,群组 Lasso 对于强群体稀疏信号优于标准的 Lasso,这为在基础群组结构与数据一致时使用群体稀疏正则化提供了有力的理论证明。此外,理论预测了群体 Lasso 公式的一些局限性,并得到了模拟研究的证实。
Jan, 2009
探讨了深度神经网络、特征选择和优化之间的关系,并通过引入 Group Lasso penalty 的方法,同时解决了三个问题,证明此方法可以在大规模分类任务上有效地实现。
Jul, 2016
研究非线性模型下的监督学习与变量选择问题,提出一种基于偏导数的非参数稀疏模型,利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法,并通过理论和实验分析表明其具有优秀的性能表现。
Aug, 2012
本文介绍了一种基于数据相关性的一般化界限,适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下,都可以获得有竞争力的结果。我们界限的新特点是,它可以应用于无限维度的设置,例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。
Aug, 2011
本文介绍了一种基于结构规则的稀疏估计方法,通过应用不仅仅关注稀疏性,而且可以考虑一些结构化先验知识,这种方法可以处理多种结构的问题。同时,我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。
Sep, 2011
本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术,包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时,我们提供了一组广泛的实验来比较各种算法在计算方面的差异。
Aug, 2011