Apr, 2020

大规模稀疏回归：基于一阶优化的分支定界

HTML
PDF
TL;DR本文提出了一种新的混合整数规划框架，结合非线性分支定界和坐标下降方法，用于计算最小二乘回归中的$l_{0}l_{2}$惩罚，证明了该框架不仅比现有方法快很多，而且可以处理一些统计性较强的示例，并提供了$L0BnB$工具箱的开源实现。
发现论文，激发创造
  • 高维M-估计的迭代硬阈值方法

    本文介绍了在高维环境下，使用M-estimators在广义线性回归模型中需要风险最小化，并提出了第一个IHT样式算法在高维统计学中的分析框架，这对于稀疏回归和低秩矩阵恢复等问题具有实际应用价值。

    Oct, 2014

  • 稀疏非线性回归：参数估计与渐近推断

    研究了稀疏非线性回归的参数估计和渐近推断，提出了一种$\ell_1$正则化最小二乘估计器，并证明了在温和条件下，目标函数的每个驻点都享有最优的统计收敛速率，并提供了有效的算法来获得估计器的不确定性，同时用数字结果支持了我们的理论。

    Nov, 2015

  • 普通最小二乘回归的更快、更好、更坚强的收敛速率

    提出一种基于平均加速正则梯度下降的算法，通过细化初值和Hessian矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到O（1/n2）以及对于维度d的依赖程度为O（d/n）。

    Feb, 2016

  • 稀疏回归的一级凸化

    本文提出了一种基于理想(凸包)形式的新的计算稀疏回归的强凸松弛方式，采用半定优化问题在扩展空间中求解，具有更强更通用的性能。实验表明，所提出的锥形公式的解可以在几秒钟内求解，且在统计学上的预测精度和解释性上表现更佳。

    Jan, 2019

  • 稳健稀疏优化的难度和算法

    研究稀疏优化问题中的算法和局限性，探索稀疏线性回归和鲁棒线性回归问题，在此基础上展示了鲁棒回归问题的二准则、NP-近似困难性，给出了一个使用近似最近邻数据结构的鲁棒回归算法，并且介绍了一个从鲁棒线性回归到稀疏线性回归的通用带宽率约化算法。

    Jun, 2022

  • 稀疏线性回归的最优草图界限

    该论文探讨了在不同的损失函数下，对于 $k$-稀疏线性回归的随机抽样方法以及其误差上界，其中包括了稀疏的逻辑回归和 ReLU 回归等损失函数，并且给出了相应的维度约束条件。

    Apr, 2023

  • 使用离散优化的稀疏高斯图模型：计算和统计视角

    我们提出了一种稀疏图的学习方法，应用于一个无向高斯图模型的问题，并通过凸混合整数规划框架得到了新的估计器，该估计器在稀疏性精度矩阵的估计与变量选择方面有着优越的性能。

    Jul, 2023

  • 全局收敛加速算法在多线性稀疏逻辑回归中的应用

    提出了一种基于稀疏多线性逻辑回归（Multilinear Sparse Logistic Regression）模型的加速近端交替线性化最小化（APALM$^+$）方法，用于解决多维数据分析中的特征选择问题，该方法在准确性和速度方面优于其他最先进方法。

    Sep, 2023

  • 稀疏线性回归与格问题

    稀疏线性回归（SLR）是一个在统计学中研究得很多的问题，在该问题中，给定一个设计矩阵 X 和一个响应向量 y，目标是寻找一个最小化均方预测误差的 k-稀疏向量 hat(theta)，该问题在设计矩阵良好条件下可以通过 L1 松弛方法解决，本文提供了关于所有有效算法的平均情况困难性证据，并基于格问题的最差情况困难性给出了SLR的平均情况困难性证据，同时还讨论了可辨别与不可辨别的情形。

    Feb, 2024

  • 带潜变量的套索：高效估计、协变量缩放和计算统计差距

    稀疏线性回归中的相关性以及智能缩放解决方案

    Feb, 2024