Jan, 2024

使用逻辑回归进行特征选择的实验

PDF
TL;DR在监督式机器学习中，特征选择扮演着非常重要的角色，可以通过计算时间和精确度等指标来提高可解释性和性能。本文研究了一种基于逻辑回归（LR）的著名 L1 和 L2 正则化策略的特征选择方法，并综合了 L1 和 L2 正则化的发现，在 CIC-IDS2018 数据集上进行了实验，对比了不同大小的特征集上 LR+L1 和 LR+L2 的精确度差异。发现在选择特征集后两种方法的精确度没有显著差异，且综合的特征集在决策树和随机森林等更复杂模型上的精确度也很接近，并报告了标准指标：精确度、召回率、准确率和 F1 分数。
supervised machine learningfeature selectionl1 regularizationl2 regularizationlogistic regression
发现论文，激发创造
  • L1 逻辑回归作为特征选择步骤用于训练稳健的分类树，以预测输入疟疾患者严重程度

    本研究探讨了不同的分类方法，如 L1 逻辑回归、分类树和 L1LR-Tree，在识别恶性疟疾严重程度方面的性能和稳定性，并基于变量分类策略构建了稀疏且稳定的模型，从而提高了临床对恶性疟疾的诊断。

    Nov, 2015

  • 关于正则化稀疏逻辑回归

    提出了解决稀疏逻辑回归和使用非凸惩罚项解决稀疏逻辑回归的优化框架，以同时进行分类和特征选择。通过实证实验，证明了所提算法在具有现实数据集的二分类任务中能够有效地进行分类和特征选择，且计算成本较低。

    Sep, 2023

  • 基于 $l_1$ 和 $l_1+l_2$ 惩罚的线性和逻辑回归模型中的诚实变量选择

    本论文探讨了利用 $\ell_1$ 和 $\ell_1+\ell_2$ 型惩罚方案进行有限样本下的变量选择的正确方法，并研究了在给定的置信水平下，如何通过样本大小、参数数量等因素来确定信号强度和调整参数值的条件。同时，该文分析证明了在可识别模型中，这两种方法均可以恢复大小为 $1/\sqrt {n}$ 的系数。

    Aug, 2008

  • 具有因果正则化的学习：对数据选择偏差的不可知性处理

    本文基于因果关系假设，将因果技术纳入预测建模中，提出一种新的因果正则化逻辑回归（Causally Regularized Logistic Regression，CRLR）算法，以共同优化全局混杂因素平衡和加权逻辑回归，以解决对假设的无知选择偏差对实际应用中的稳健模型学习的重要性问题。

    Aug, 2017

  • 正则化对高维逻辑回归的影响

    本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。

    Jun, 2019

  • 稀疏回归用于机器翻译

    使用跨模型回归技术学习平行语料库的源和目标特征之间的映射，并将这些映射用于生成机器翻译输出，在选择正确的训练实例方面，我们引入了一种名为 dice 的实例选择方法，该方法在限定的计算资源和预期的准确性水平上起到了重要的作用。通过使用 $L_1$ 正则化回归，我们展示了在回归测量和使用图解码进行翻译实验时，其性能优于 $L_2$ 正则化回归。我们在从德语到英语和西班牙语到英语的翻译中呈现了令人鼓舞的结果，并演示了用回归模型发现的映射替换短语解码器的短语表的结果。

    Jun, 2024

  • 逻辑回归的成本敏感最佳子集选择：基于混合整数锥优化的视角

    提出了从混合整数锥优化的角度，具有证明最优的特征选择程序的机器学习方法，可以考虑辅助成本以获取特征，同时创建了用于临床预后模型研究的合成数据生成器，以系统评估不同的启发式和最优基数约束特征选择程序。

    Oct, 2023

  • 关于带有 L1 正则化的最小二乘回归的一些尖锐性能界

    通过参数估计准确性和特征选择质量两个角度，我们得出了最小二乘回归与 $L_1$ 正则化的性能边界。对于 $L_1$ 正则化得出的主要结果扩展了 Dantzig 选择器中 [Ann.Statist.35 (2007) 2313-2351] 类似的结果，并肯定回答了 [Ann.Statist.35 (2007) 2358-2364] 中的一个未解问题。此外，该结果还产生了一种更广泛的特征选择观点，该观点比一些最近的工作具有更少的约束条件。基于理论洞察力，我们分析了具有选择性处罚的新型两阶段 $L_1$ 正则化过程，并表明如果目标参数向量可以分解为具有大系数的稀疏参数向量和具有相对较小系数的其他较少稀疏向量的总和，则两阶段过程可以提高性能。

    Aug, 2009

  • 二值随机过滤器：特征选择及其它

    本研究提出了一种利用稀疏正则化方法进行特征选择的神经网络扩展方法，比传统方法更为高效且可用于任何现有结构，同时能够直接应用于神经元修剪和光谱数据的重要区域选择。

    Jul, 2020

  • 结直肠癌风险预测模型特征选择的比较研究

    针对结直肠癌，评估了多种特征排序算法在一组风险预测模型中的性能，通过标量稳定性度量和一种可视化方法评估其稳定性，与专家提供的特征进行了比较分析，并发现了与专家知识相一致的最相关特征。

    Feb, 2024