Oct, 2023

逻辑回归的成本敏感最佳子集选择：基于混合整数锥优化的视角

PDF
TL;DR提出了从混合整数锥优化的角度，具有证明最优的特征选择程序的机器学习方法，可以考虑辅助成本以获取特征，同时创建了用于临床预后模型研究的合成数据生成器，以系统评估不同的启发式和最优基数约束特征选择程序。
machine learninginterpretable modelsfeature selectionlogistic regressionclinical prognostic model
发现论文，激发创造
  • 广义线性模型的自动模型选择

    本文采用混合整数圆锥优化方法，结合整体广义线性模型，完全自动化模型选择过程。具体而言，我们直接优化赤池信息准则和贝叶斯信息准则，并在特征选择任务中引入旨在处理多重共线性的约束条件，其中包括一种新的配对相关约束，它结合了符号协调约束和来自经典统计模型（如岭回归模型和 OSCAR 模型）的想法。

    Apr, 2024

  • 支持向量机的成本敏感特征选择

    通过数学优化的特征选择过程嵌入到支持向量机分类过程中，结合了不对称的分类错误代价，旨在减少特征数量并保持误分类率的平衡。

    Jan, 2024

  • 基于现代优化视角的最佳子集选择

    本文提出了一种基于混合整数规划的方法来解决最佳子集选择问题，旨在通过离散优化方法扩展现有的一阶连续优化算法，为线性回归提供更高质量的可行解，并延伸到最小绝对偏差损失函数，最终实验证明本文的方法在求解 $n$ 为 1000s 和 $p$ 为 100s 及 $n$ 为 100s 和 $p$ 为 1000s 的问题时可以在几分钟内得到可靠的最优解，并且相比于其他流行的稀疏学习过程，具有更好的预测能力和更少的稀疏性。

    Jul, 2015

  • 回归中的异常值检测：锥二次形式

    本论文提出了使用二阶锥松弛方法来解决具有离群值时使用线性回归模型所遇到的混合整数优化问题，相比于现有方法使用的大 M 约束进行的线性化，该方法具有更强的弛豫度且性能更优。

    Jul, 2023

  • 多类分类的学习最优公平评分系统

    使用混合整数线性规划技术，我们提出了一种可解释的，具有稀疏性和公平性约束的多类别分类评分系统，扩展了 Rudin 和 Ustun 提出的适用于二元分类的 SLIM 框架。

    Apr, 2023

  • 带逻辑约束的混合整数优化问题的统一方法

    本文研究了一种统一的框架方法用于解决一类混合整数优化问题，通过对其逻辑约束进行非线性方式的表达，结合规则化条件及基于混合精度算法，形成了凸二进制优化问题，并利用一种综合的数字策略方法解决问题。

    Jul, 2019

  • 使用逻辑回归进行特征选择的实验

    在监督式机器学习中，特征选择扮演着非常重要的角色，可以通过计算时间和精确度等指标来提高可解释性和性能。本文研究了一种基于逻辑回归（LR）的著名 L1 和 L2 正则化策略的特征选择方法，并综合了 L1 和 L2 正则化的发现，在 CIC-IDS2018 数据集上进行了实验，对比了不同大小的特征集上 LR+L1 和 LR+L2 的精确度差异。发现在选择特征集后两种方法的精确度没有显著差异，且综合的特征集在决策树和随机森林等更复杂模型上的精确度也很接近，并报告了标准指标：精确度、召回率、准确率和 F1 分数。

    Jan, 2024

  • 高维统计学习和最优化中基于 $l_1$ 约束下最佳子集选择和持续性

    研究最佳子集选择问题，探讨基于经验风险最小化的方法以及 $l_1$ 约束下是否可以得到最佳子集，最后进行了高维度模拟研究，提出了一种 “增强型” 分类算法。

    Feb, 2007

  • 关于正则化稀疏逻辑回归

    提出了解决稀疏逻辑回归和使用非凸惩罚项解决稀疏逻辑回归的优化框架，以同时进行分类和特征选择。通过实证实验，证明了所提算法在具有现实数据集的二分类任务中能够有效地进行分类和特征选择，且计算成本较低。

    Sep, 2023

  • 稀疏回归：可扩展的算法和实证表现

    本文回顾了特征选择领域内应用最广的方法，重点关注其精度和误检探测率随着样本数量增加的表现，并对比了常用的 Lasso 正则化方法以外，不太为人所知的非凸罚函数方法。通过实证分析，我们发现整数规划方案及其布尔松弛具有更优的性能表现，但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素，本文揭示了一些不同的特征选择方案，为相关领域的研究提供了参考依据。

    Feb, 2019