Sep, 2017

稀疏高维回归：精确可扩展算法和相变

PDF
TL;DR本文提出了一种新的二元凸重构稀疏回归问题的方法，并提供了一种新的切平面方法来解决高维数据时出现的问题。实验证明，与当前最先进的算法相比，本方法能够在秒内解决样本数和回归器数均在 10 万个数量级的稀疏回归问题，并且可以观察到新的相变现象。
sparse regressionbinary convex reformulationcutting plane methodhigh-dimensional dataphase transition phenomena
发现论文，激发创造
  • 稀疏线性回归的特征自适应

    本文研究高维统计中的稀疏线性回归问题，特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法，提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进，以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。

    May, 2023

  • 高维随机优化与稀疏统计恢复：一种最优算法

    研究了基于 Nesterov 的对偶平均算法的随机优化算法，在预期损失是强凸的且最优解是（近似）稀疏的问题上进行优化，证明了在局部 Lipschitz 损失下，在 T 轮迭代后，我们的解决方案的误差最多为 O（（slogp）/T），并确立了我们的收敛率是最佳的，且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较，证实了我们方法的有效性。

    Jul, 2012

  • 稳健稀疏优化的难度和算法

    研究稀疏优化问题中的算法和局限性，探索稀疏线性回归和鲁棒线性回归问题，在此基础上展示了鲁棒回归问题的二准则、NP - 近似困难性，给出了一个使用近似最近邻数据结构的鲁棒回归算法，并且介绍了一个从鲁棒线性回归到稀疏线性回归的通用带宽率约化算法。

    Jun, 2022

  • 高维稀疏 PCA 的在线学习：精确动态和相变

    研究基于在线 PCA 和逐元素非线性的算法对于稀疏主特征向量的学习，证明其在高维极限下收敛于确定性的，尺度测度过程，同时证明在稀疏支持恢复中有良好的表现，并通过非线性 PDE 的稳态分析揭示了有趣的相变现象。

    Sep, 2016

  • 模型发现的可扩展稀疏回归：洞察力的快速通道

    通过稀疏回归算法，特别是利用迭代奇异值分解的穷尽搜索，提出了一种通用的快速稀疏回归算法（SPRINT），用于从数据中直接学习具备定性简单性和人类可解释性的数学描述，该算法在大型符号库上具有合理的计算成本。

    May, 2024

  • 高维稳健稀疏回归

    提出了一种用于高维度稀疏回归中具有常量分数的自变量和 / 或响应变量的污染的算法，它是迄今为止的首个这样的算法，利用使用这种算法，我们提供了强健的稀疏回归方法和过滤算法。

    May, 2018

  • 流式稀疏回归的统计学

    本文介绍一种基于稀疏近似的随机梯度下降算法，该算法能够在类似 Lasso 的条件下表现良好，并且无需更多的计算资源。在实验中，我们发现我们的方法在真实数据和模拟数据上均表现出色。

    Dec, 2014

  • 高维非凸估计的谱初始化相变

    本文研究了一种用于非凸场景下估计信号的光谱初始化方法，考虑了任意广义线性传感模型，并精确地描述了该方法在高维极限下的性能，揭示了依赖于样本数和信号维度之比的相位转换现象。

    Feb, 2017

  • 高维逻辑回归中最大似然估计存在的相变

    本文通过建立高维逻辑回归模型中最大似然估计 MLE 存在性的分界曲线，证明 MLE 的存在性具有 “相变” 的特性，当问题具有足够高的维数时 MLE 几乎不可能存在，曲线参数由回归系数未知序列的整体大小确定。

    Apr, 2018

  • 方根 Lasso：通过圆锥规划实现稀疏信号的关键恢复

    该论文提出了一种称为平方根 Lasso 方法的高维稀疏线性回归模型估计方法，该方法对于大量输入变量但只有少量参数起作用，不需要预估标准差，同时可以适用于高斯或非高斯误差数据。

    Sep, 2010