Apr, 2024

广义线性模型的自动模型选择

PDF
TL;DR本文采用混合整数圆锥优化方法，结合整体广义线性模型，完全自动化模型选择过程。具体而言，我们直接优化赤池信息准则和贝叶斯信息准则，并在特征选择任务中引入旨在处理多重共线性的约束条件，其中包括一种新的配对相关约束，它结合了符号协调约束和来自经典统计模型（如岭回归模型和 OSCAR 模型）的想法。
mixed-integer conic optimizationfeature subset selectionholistic generalized linear modelsakaike and bayesian information criteriamulticollinearity
发现论文，激发创造
  • 线性混合模型中的模型选择

    本文回顾了如何利用信息标准、收缩方法、Fence 法和贝叶斯技术等四种主要方法，解决选择适当的线性混合效应模型的问题。通过考察一系列文献的方法、性质和相互关系，帮助读者更好地了解可用的方法。

    Jun, 2013

  • 逻辑回归的成本敏感最佳子集选择：基于混合整数锥优化的视角

    提出了从混合整数锥优化的角度，具有证明最优的特征选择程序的机器学习方法，可以考虑辅助成本以获取特征，同时创建了用于临床预后模型研究的合成数据生成器，以系统评估不同的启发式和最优基数约束特征选择程序。

    Oct, 2023

  • 表格数据的自动模型选择

    该研究论文提出了两种自动化模型选择方法，分别是基于优先级的随机网格搜索和贪婪搜索方法，应用于包含特征交互的表格数据集，有效捕获预测性特征组合。

    Jan, 2024

  • 基于稀疏回归和信息准则的动态系统模型选择

    利用稀疏非线性动力学算法和信息准则对动力学系统进行模型选择，自动且有原则地选择得到强支持的模型，这个方法能够准确地鉴别出多个基本动力学系统，包括一个 SEIR 疾病模型和 Lorenz 方程。

    Jan, 2017

  • 回归中的异常值检测：锥二次形式

    本论文提出了使用二阶锥松弛方法来解决具有离群值时使用线性回归模型所遇到的混合整数优化问题，相比于现有方法使用的大 M 约束进行的线性化，该方法具有更强的弛豫度且性能更优。

    Jul, 2023

  • 带逻辑约束的混合整数优化问题的统一方法

    本文研究了一种统一的框架方法用于解决一类混合整数优化问题，通过对其逻辑约束进行非线性方式的表达，结合规则化条件及基于混合精度算法，形成了凸二进制优化问题，并利用一种综合的数字策略方法解决问题。

    Jul, 2019

  • 稀疏广义线性模型的大规模变分推断和实验设计

    本文介绍了一种基于贝叶斯思想的算法框架，通过查询稀疏线性模型后验协方差来解决高阶贝叶斯决策问题，并且利用该算法框架成功地推动了磁共振成像的采样轨迹优化，为实际图像的压缩感知提供了新的启示。

    Oct, 2008

  • 高维回归通用不可表示条件下的模型选择

    本文研究高维回归模型中只有少量自变量起作用的情况，提出了一种双阶段方法 Gauss-Lasso，并证明在满足广义不可表现性（GIC）条件时，Gauss-Lasso 可以正确识别自变量的作用。

    May, 2013

  • 误设模型中的模型选择原则

    提出了一种用于模型选择的半贝叶斯原则，并通过渐近扩展导出了半贝叶斯信息准则（SIC），该方法在模型正确性和不正确性下的模型选择具有优势。

    May, 2010

  • 全局优化：机器学习方法

    通过使用基于超平面的决策树将非线性约束进行建模，并利用这些树构建原问题的统一混合整数优化（MIO）近似，本研究提出了扩展解决方案，包括使用其他可转化为 MIO 的机器学习模型（如梯度提升树、多层感知器和支持向量机）逼近原问题，提出自适应采样方法以获得更准确的基于机器学习的约束近似，利用鲁棒优化来考虑样本依赖性训练的不确定性，并利用一组松弛方法来处理最终的 MIO 近似的不可行性。然后我们在 81 个全局优化实例中测试了增强的框架，并展示了大多数实例中解的可行性和最优性的改进。我们还与 BARON 进行了比较，在 11 个实例中显示了更好的最优间隙或解决时间。

    Nov, 2023