稀疏私有 LASSO 逻辑回归
提出了解决稀疏逻辑回归和使用非凸惩罚项解决稀疏逻辑回归的优化框架,以同时进行分类和特征选择。通过实证实验,证明了所提算法在具有现实数据集的二分类任务中能够有效地进行分类和特征选择,且计算成本较低。
Sep, 2023
利用 Frank-Wolfe 算法对稀疏输入数据训练差分隐私回归模型,大幅减少了训练时间,可以提升多达 2200 倍的运行速度。
Oct, 2023
本文证明了 Lasso 的鲁棒性质,并将其与物理属性,即对噪声的保护,联系起来。通过考虑不同的不确定性集合,可以得出 Lasso 的一般化形式并获得凸优化问题。同时,通过鲁棒性质可以解释为何 Lasso 解是稀疏的,并且与标准稀疏结果不同。最后,证明了稀疏性和算法稳定性是相互矛盾的,因此 Lasso 是不稳定的。
Nov, 2008
本文研究高维统计中的稀疏线性回归问题,特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法,提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进,以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。
May, 2023
本文回顾了特征选择领域内应用最广的方法,重点关注其精度和误检探测率随着样本数量增加的表现,并对比了常用的 Lasso 正则化方法以外,不太为人所知的非凸罚函数方法。通过实证分析,我们发现整数规划方案及其布尔松弛具有更优的性能表现,但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素,本文揭示了一些不同的特征选择方案,为相关领域的研究提供了参考依据。
Feb, 2019
本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质,特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现,包括一些适用于固定设计的条件以及一些收敛性的结果。最后,文章通过天体物理学中相邻频率的检测问题进行了结果论证。
Jun, 2008
本文针对相关设计变量的稀疏 Riesz 条件,研究 LASSO 在模型选择中的速率一致性,并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。
Aug, 2008
本文介绍了一种新的分类算法 Graph-Sparse Logistic Regression,适用于在图形上具有稀疏但相互连接的支持的情况。我们在生物信息学的蛋白质组学数据和互作图方面探索了这种技术,并提供了开源软件包 GSLR。
Dec, 2017
本文介绍一种基于稀疏近似的随机梯度下降算法,该算法能够在类似 Lasso 的条件下表现良好,并且无需更多的计算资源。在实验中,我们发现我们的方法在真实数据和模拟数据上均表现出色。
Dec, 2014
本文提出了一种用于高维数据稀疏逻辑回归分类和特征选择的快速和有效的稀疏逻辑回归筛选规则(Slores),能够在解决稀疏逻辑回归问题的计算成本基础上实现数据集的一次扫描获得 0 组件,未来可与任何现有的稀疏逻辑回归引擎集成以提高效率。
Jul, 2013