Nov, 2015

高维单指数模型的支持恢复和 L1 正则化最小二乘估计 (Gaussian Designs)

PDF
TL;DR本研究针对一类单指数模型，在不同的数据分布和假设条件下分别采用切片逆回归、LASSO 以及协方差筛选等算法，实现对支持集的恢复，并对 LASSO 用于线性模型的支持恢复结果进行推广。
single index modelssliced inverse regressionlassosupport recoverycovariance screening
发现论文，激发创造
  • 高维多元回归中支持联合恢复

    本文研究多元回归中的分组 Lasso，使用基于 L1/L2 范数的分块正则化进行支持融合恢复或恢复 B * 非零行的集合，证明了分组 Lasso 在高维缩放下对于问题序列 (n、p、s) 成功的阈值和失败的阈值，并使用模拟演示了理论结果的锐度。

    Aug, 2008

  • 高维回归中的假设检验： 高斯随机设计模型下的渐近理论

    本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中，单个回归系数的 p-value 计算问题，证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解，最后通过统计物理中的 Replica heuristics，推导出普遍高斯设计的标准分布极限。

    Jan, 2013

  • 最优稀疏恢复的隐式正则化

    本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案，旨在从线性测量的过少的系统中重构出一个稀疏信号，考虑到受限等距假设，我们展示了有一定参数下，预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法，可以在费用与读取 poly-logarithmic 因子的数据一样的代价下，实现极小化率。除了最小化控制，我们还展示了当信噪比足够高时，算法会适应实例的困难度并产生一个与维度无关的率。实现算法的关键是一个逐渐增加的步长方案，根据对真实解的精细估计进行适应。我们通过数值实验验证了我们的发现并将我们的算法与显式 Λ1 惩罚进行了比较。从难实例到容易实例，我们看到我们的算法经历了一个相变，最终与具有真正的支持知识的最小二乘拟合器匹配。

    Sep, 2019

  • 正交最小二乘法的近优界

    本文研究了用于稀疏恢复的正交最小二乘算法以及与之相关的采样矩阵的限制等距性质，证明了在满足特定条件下，算法能够从采样中精确恢复出 $k$- 稀疏向量的支撑集，并提供了对于一般情况下无法恢复的支撑集的上界调节量。

    Nov, 2016

  • 基于信息论的概率模型支持恢复限制

    该论文采用阈值技术中的概率模型，探讨了对于一组观测数据与数据向量之间的关系的支持恢复问题。该论文提出了通用的可行性和对偶性边界，为线性、1 位和组测试模型提供了特定的可行性和对偶性边界。

    Jan, 2015

  • 高维同时支持恢复：块 $\ell_1/\ell_\infty$ 正则化的利与弊

    本文研究了采用 l1/l∞正则化回归方法对回归系数矩阵进行联合估计的高维缩放，分析了 l1/l∞正则化的一致性和变量选择。结果表明，l1/l∞正则化方法的使用需要谨慎，若数据不够符合其结构，则相较于计算量较低的方案会降低其统计性能。

    May, 2009

  • 稀疏线性回归的特征自适应

    本文研究高维统计中的稀疏线性回归问题，特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法，提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进，以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。

    May, 2023

  • 非协调正则化支持恢复

    本论文使用原始 - 对偶见证证明方法证明了在回归问题中，即使损失函数和 / 或正则化器是非凸的，也可以建立变量选择一致性和 l∞- 界限。使用这种方法，我们得出了两个关于支持恢复和 l∞ - 保证回归估计器的定理，我们的结果为使用非凸正则化器提供了严格的理论依据

    Dec, 2014

  • 高维回归通用不可表示条件下的模型选择

    本文研究高维回归模型中只有少量自变量起作用的情况，提出了一种双阶段方法 Gauss-Lasso，并证明在满足广义不可表现性（GIC）条件时，Gauss-Lasso 可以正确识别自变量的作用。

    May, 2013

  • 通过 k - 支撑范数的迭代正则化：稀疏恢复的重要补充

    基于 $k$- 支持范数正则化器的迭代正则化算法 IRKSN，在广泛条件下实现稀疏恢复，提供边界和应用实例研究。

    Dec, 2023