Aug, 2023

广义线性模型中的最佳子集选择：一种基于剪接技术的快速且一致的算法

PDF
TL;DR在高维广义线性模型中，通过使用快速算法选择最佳子集，以高确定性解决了多变量选择的问题并证明了统计性质。
high-dimensional generalized linear modelssparse modelbest subset selectionfast algorithmvariable selection
发现论文，激发创造
  • 单指数模型中最佳子集选择的一致可扩展算法

    高维数据的分析引起了对单指数模型和最佳子集选择的日益关注，本文提出了第一个在高维单指数模型中具有可扩展性的证明可规模化的算法来进行最佳子集选择，该算法使用广义信息准则来确定回归系数的支持大小，消除模型选择调优。

    Sep, 2023

  • 最佳子集选择的动态增量优化

    本研究探讨了一类 l0 正则化问题的对偶形式，并基于其原始问题和对偶问题结构开发了一种高效的原始对偶算法，通过利用对偶范围估计和增量策略，可能减少了冗余计算并改进了最佳子集选择的解决方案。理论分析和对合成数据集和实际数据集的实验验证了所提出解决方案的效率和统计特性。

    Feb, 2024

  • 稀疏回归：可扩展的算法和实证表现

    本文回顾了特征选择领域内应用最广的方法，重点关注其精度和误检探测率随着样本数量增加的表现，并对比了常用的 Lasso 正则化方法以外，不太为人所知的非凸罚函数方法。通过实证分析，我们发现整数规划方案及其布尔松弛具有更优的性能表现，但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素，本文揭示了一些不同的特征选择方案，为相关领域的研究提供了参考依据。

    Feb, 2019

  • 一种统一的动态方法用于稀疏模型选择

    本文提出一种简单的迭代正则化路径方法，通过稀疏 Mirror Descent 算法或带有非线性损失的 Linearized Bregman 迭代的动态，在 Restricted Strong Convexity (RSC) 和 Irrepresentable Condition (IRR) 的限制下，以达到不出错的子空间为首要目标，运用于稀疏逻辑回归和 Ising 模型的 NIPS 合著问题上，其性能与 glment 相当，进一步减小了偏差。

    Oct, 2018

  • 预测套索

    本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。

    Sep, 2010

  • 高维统计学习和最优化中基于 $l_1$ 约束下最佳子集选择和持续性

    研究最佳子集选择问题，探讨基于经验风险最小化的方法以及 $l_1$ 约束下是否可以得到最佳子集，最后进行了高维度模拟研究，提出了一种 “增强型” 分类算法。

    Feb, 2007

  • 广义列子集选择的快速贪心算法

    本文定义了一般化的列子集选择问题，该问题涉及从源矩阵 A 中选择少量列，这些列最能逼近目标矩阵 B 的跨度，提出了一种快速贪心算法来解决这个问题，并与可以使用所提出的算法有效解决的不同问题建立联系。

    Dec, 2013

  • 子模遇上谱：子集选择、稀疏逼近和字典选择的贪心算法

    本研究通过分析子模函数的最大化和谱分析的见解，引入了子模性比率作为一种关键性质，研究了从大量随机变量中选择 k 个变量的问题，以实现对另一个感兴趣的变量的最佳线性预测，取得了这个问题方面最强的现有近似保证，并运用了该技术进行了实验和分析。

    Feb, 2011

  • 高维线性模型中的变量选择：部分可信分布和 PC-simple 算法

    本研究考虑高维线性模型中的变量选择，提出了部分可信度的新概念并使用它推断协变量和响应之间的关联，利用部分可信度开发出具有可行计算性的 PC-simple 算法，并在随机设计矩阵的不同性质下提供一致的变量选择。与基于惩罚的方法相比，该算法在数千个协变量下表现良好。

    Jun, 2009

  • 高维贝叶斯变量选择的计算复杂度

    本文研究高维贝叶斯线性回归的计算复杂度，介绍了一种截尾稀疏先验变量选择方法，通过 Metropolis-Hastings 算法，保证了变量选择的一致性和快速混合。

    May, 2015