Jun, 2023

利用凸性进行稀疏线性模型的异常值鲁棒估计

PDF
TL;DR本文研究了在存在离群样本的情况下，估计稀疏回归向量的正确支持问题。我们提出了一种组合离群鲁棒 lasso 的版本，该版本还可以识别清洁样本。随后，我们使用这些干净的样本进行很好的估计。我们还为组合问题提供了新颖的 invex 松弛，并为此松弛提供了可证明的理论保证。最后，我们进行实验以验证我们的理论，并将结果与标准 lasso 进行比较。
发现论文，激发创造
  • 通过迭代滤波进行异常值鲁棒的高维稀疏估计

    研究高维稀疏估计任务中的鲁棒性问题，提出使用基于谱技术的迭代式方法消除数据中的离群值，实现高效稳健的稀疏均值估计和稀疏主成分分析。

    Nov, 2019

  • 稳健回归和 Lasso

    本文证明了 Lasso 的鲁棒性质，并将其与物理属性，即对噪声的保护，联系起来。通过考虑不同的不确定性集合，可以得出 Lasso 的一般化形式并获得凸优化问题。同时，通过鲁棒性质可以解释为何 Lasso 解是稀疏的，并且与标准稀疏结果不同。最后，证明了稀疏性和算法稳定性是相互矛盾的，因此 Lasso 是不稳定的。

    Nov, 2008

  • 稀疏置换不变协方差估计

    提出一种构建稀疏估计器的方法，用于高维背景下的逆协方差（浓度）矩阵，使用罚函数正态似然方法强制使用 Lasso 型惩罚，并在数据维数 $p$ 和样本量 $n$ 随着增长收敛速率之间建立 Frobenius 范数。同时对真实浓度矩阵进行稀疏度量，提出一种基于相关性的方法，在操作规范下具有更好的收敛速率，推出一种快速迭代算法用于计算估计值，利用常用的 Cholesky 分解反演，得到一种置换不变的估算法，文中将这种方法应用于癌症组织分类的基因表达数据上，并与其他估算方法进行了比较。

    Jan, 2008

  • 对异常数据鲁棒的回归的高效算法

    本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

    Mar, 2018

  • Lasso 方法下的高维图表与变量筛选

    该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

    Aug, 2006

  • 稀疏线性回归的特征自适应

    本文研究高维统计中的稀疏线性回归问题，特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法，提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进，以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。

    May, 2023

  • 独立可解释的 Lasso：用于无相关变量的稀疏回归的新型正则化方法

    本文提出了 “独立可解释 Lasso”（IILasso）方法，以压制选择相关变量，从而每个活跃变量都能独立地影响模型中的目标变量；该方法在回归系数的直观解释和避免过拟合方面都表现良好，在综合分析和数据分析中证实了 IILasso 的有效性。

    Nov, 2017

  • 高维误差变量模型中的线性和锥形规划估计器

    本文研究考虑设计误差的线性回归模型，针对在实践应用中常见但引入噪声的自变量情况，提出了一种基于稀疏性假设的估计方法，并指出该方法在极小化期望风险下是近乎最优的。所提出的估计方法可以通过解线性规划问题实现高效计算，同时具有达到极小化效率界的估计量。

    Aug, 2014

  • 污染线性模型下的快速和鲁棒最小二乘估计

    本论文提出了一种基于数据点权重的子采样算法，通过控制高影响因子的点对残差误差的贡献，以加速最小二乘估计。实验证明该算法在处理受损观测值时相对于现有的算法有更好的近似性能。

    Jun, 2014

  • 高维数据的稀疏表示 Lasso 型恢复

    本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质，特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现，包括一些适用于固定设计的条件以及一些收敛性的结果。最后，文章通过天体物理学中相邻频率的检测问题进行了结果论证。

    Jun, 2008