探究如何在学习排名中将特征选择集成入学习过程中,并且提出了一种使用 SVM 和稀疏正则化术语进行特征选择的通用框架。
Jul, 2015
本文提出了一种稀疏逻辑回归的差分隐私方法,该方法利用非隐私 LASSO 逻辑回归模型确定使用的非零系数的数量来进行最终的模型选择,从而保持硬零,实验结果表明该方法在合成和真实数据集上表现良好。
Apr, 2023
本文研究了高维情况下正则化逻辑回归(RLR),其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组,我们提供了 RLR 性能的精确分析,并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟,并在各种参数值和问题实例中验证了理论。
Jun, 2019
本文提出了一种基于理想 (凸包) 形式的新的计算稀疏回归的强凸松弛方式,采用半定优化问题在扩展空间中求解,具有更强更通用的性能。实验表明,所提出的锥形公式的解可以在几秒钟内求解,且在统计学上的预测精度和解释性上表现更佳。
Jan, 2019
本文提出了一种用于高维数据稀疏逻辑回归分类和特征选择的快速和有效的稀疏逻辑回归筛选规则(Slores),能够在解决稀疏逻辑回归问题的计算成本基础上实现数据集的一次扫描获得 0 组件,未来可与任何现有的稀疏逻辑回归引擎集成以提高效率。
Jul, 2013
本文介绍了一种基于结构规则的稀疏估计方法,通过应用不仅仅关注稀疏性,而且可以考虑一些结构化先验知识,这种方法可以处理多种结构的问题。同时,我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。
Sep, 2011
本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术,包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时,我们提供了一组广泛的实验来比较各种算法在计算方面的差异。
Aug, 2011
对于具有噪声标签的二元分类问题,正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下,假设类别是由高斯混合模型生成的,其中有一个小于 1/2 的比例的训练数据被误标记,我们严格分析了岭回归、L1 和 L∞回归应用时产生的分类错误。特别地,我们证明了岭回归总能改善分类错误。我们证明了 L1 正则化引起稀疏性,并观察到在许多情况下,不考虑 GMM 的稀疏结构,可以将解稀疏化两个数量级而不会有明显的性能损失。对于 L∞正则化,我们证明了对于足够大的正则化强度,最优权重集中在两个相反符号的值周围。我们观察到在许多情况下,将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。
Nov, 2023
提出了一种近似正则化路径追踪方法,用于求解许多具有非凸问题求解的学习问题,该算法迭代复杂度与全正则化路径相同,可以同时提供统计和计算收敛率的显式表达式,并可以实现全局几何收敛,以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。
Jun, 2013
本文介绍了一种新的分类算法 Graph-Sparse Logistic Regression,适用于在图形上具有稀疏但相互连接的支持的情况。我们在生物信息学的蛋白质组学数据和互作图方面探索了这种技术,并提供了开源软件包 GSLR。
Dec, 2017