该论文探讨了基于群回归的线性模型问题,提出了一种更加通用的罚函数,该罚函数将 L1 范数和群 L2 范数相融合,可以同时稀疏化群和个体特征。此外,为了解决该问题,提出了一种基于坐标下降的高效算法,该算法也适用于处理非正交模型矩阵的群回归的一般形式。
Jan, 2010
本文研究了基于 lasso 惩罚的回归问题,并提出了两个非常快的算法来估计回归系数,其中一个算法基于循环坐标下降,而另一个基于贪心坐标下降和 Edgeworth 的算法。此外,如果对参数进行分组并对每个组进行惩罚,则可以将现有算法扩展到新领域。
Mar, 2008
本文提出使用组凸正则化的稀疏输入神经网络框架,用于解决在高维数据中进行的变量筛选和非线性函数估计的问题。通过对每个输入节点的所有出节点的权重的 L2 范数应用适当的凹值惩罚,从而为每个问题生成一个小型子集,取得了令人满意的有限样本性能和稳定的解决方案。
Jul, 2023
本研究基于 $L_1$ 等不同的范式组合提出了一种新的惩罚方案,即复合绝对惩罚(CAP)系列,可用于回归和分类模型的合理拟合以获得合理估计。CAP 通过定义组并在组间和组内级别上结合范数惩罚计算,提供给定分组和分层关系间的表达,并且能够通过选择无重叠组实现分组选择和定义具有特定重叠模式的组来实现分层变量选择,表现出比 LASSO 更好的预测性能。
Sep, 2009
本文提出了一种通用的优化方法 —— 平滑近端梯度法 (SPG),可以在结构化的稀疏惩罚下解决任何光滑凸损失的结构化稀疏回归问题。此方法在性能和可伸缩性方面都具有很大优势,并在模拟实验和真实的遗传数据集上进行了验证。
May, 2010
本研究通过图形模型的理解和动态规划技术,基于组稀疏模型的组结构,解决了组模型选择问题,提出了一种修正的组模型,并研究了两个可操作的模型的群稀疏逼近的 Pareto 前沿以及选择和计算的权衡。
Mar, 2013
探讨了深度神经网络、特征选择和优化之间的关系,并通过引入 Group Lasso penalty 的方法,同时解决了三个问题,证明此方法可以在大规模分类任务上有效地实现。
Jul, 2016
我们提出了 MC+ 方法,一种快速、连续、几乎无偏和准确的高维线性回归罚项变量选择方法。该方法采用了最小化凸惩罚和惩罚线性无偏选择算法两个部分,能够在可控的阈值下选择变量并消除偏差,同时在罚项为零时提供普通最小二乘解来实现连续性。我们证明了 MC+ 方法具有选择一致性和一定的最小值收敛速率,可以适用于高维情况,且其估计值在采用 SURE 方法计算自由度和 $C_p$ 风险估计时是无偏的。
Feb, 2010
本文提出了一种称为平滑近端梯度方法的通用优化方法,它能够解决带有平滑凸损失和广泛结构稀疏诱导罚款的结构稀疏回归问题,通过 Nesterov 的一般平滑技术实现了比标准一阶法更快的收敛速度,比大多数广泛使用的内点法更可扩展。
Feb, 2012
本文提出了一种新的方法,名为群组稀疏性加性模型 (GroupSpAM),可处理加性模型中的群组稀疏性,通过引入 Hilbert 空间内的 l1/l2 范数作为稀疏引导惩罚,推导出一种新的阈值条件来识别功能稀疏性,并提出一个高效的块坐标下降算法来构建估计,仿真实验证明 GroupSpAM 在支持恢复和预测准确性方面远优于竞争方法。
Jun, 2012