Sep, 2023

高维数据的深度修剪残差罚最小二乘回归模型

PDF
TL;DR大数据时代中的数据挑战包括：维度常常大于样本大小，异常值或污染点通常隐藏且更难检测。这篇论文系统地检查了文献中的主要惩罚回归方法，并提出了一种基于剪枝残差最小平方和的鲁棒惩罚回归方法，实验证明在估计和预测准确性方面胜过其他竞争对手。
data challengespenalized regression methodshigh-dimensional dataoutliersrobustness
发现论文，激发创造
  • 最小二乘回归罚项的数据驱动校准

    本文提出了一种完全基于数据的最小惩罚量校准算法，适用于最小二乘回归框架，可以用于惩罚最小二乘回归径向基函数网络。

    Feb, 2008

  • 高维线性模型中的最小二乘法：无处不在的容错与无泪的处理

    本文介绍了针对高维度问题的普通最小二乘（OLS）法无法适用的问题，我们提出了一种基于岭回归的 OLS 的广义版本，并提出了两种新的三步算法，这些算法在直观上易于理解，计算上易于高效实现，并且在模型选择方面有较强的理论吸引力。通过模拟和数据分析中与基于罚项的方法相比较的数值实验，这些算法的潜力得到了证明。

    Jun, 2015

  • 基于隐式岭正则化，实际高维数据的最优岭惩罚可以为零或负值

    在理想情况下，强正则化可以防止线性回归的过度拟合。然而，当预测空间中有高方差方向可以预测响应变量时，低方差方向提供了隐式的岭正则化，进一步的正岭惩罚将会起到反作用。该研究还发现，在低准则下，明确的岭正则化可能无法提供最小范数最小二乘估计器的改进。

    May, 2018

  • 鲁棒线性最小二乘回归

    针对在普通最小二乘法回归中预测的偏差问题，我们提出了一个更好的估算方法 —— 基于截断误差差值的极小 - 极大框架，其期望和差距都为 d/n。

    Oct, 2010

  • 非凸罚函数回归用于异常值检测

    本文使用惩罚回归的方法对异常值检测问题进行研究，提出了一种基于阈值迭代的异常值检测方法，并通过大量实验表明，在各种情况下，该方法可以非常有效且准确地识别出异常值。

    Jun, 2010

  • 对异常数据鲁棒的回归的高效算法

    本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

    Mar, 2018

  • 线性回归实用鲁棒性审计探讨

    探讨了在普通最小二乘回归中，找到或推翻删除数据集中的小子集会反转系数符号的实用算法；通过实证研究了用于此任务的成熟算法技术在一般线性回归问题和特殊情况下的精确贪婪方法方面的性能，证明这些方法在几个维度的回归问题中优于现有技术并提供了实用的鲁棒性检查；但对于维度为 3 或更高的回归问题中推翻这种小型影响样本存在性的重要任务仍存在显著的计算瓶颈；通过使用源自算法稳健统计的最新创新思想的谱算法在这一挑战中取得了一些进展；总结了在几个挑战数据集中，已知技术的限制，以促进进一步的算法创新。

    Jul, 2023

  • 一类通用的修剪估计器族用于高维数据的稳健性分析

    研究如何在高维结构化估计中使用强鲁棒技术，包括利用非凸损失函数的修剪版本的结构化规则的 M 估计量，分析它们的统计收敛速率和一致性，并展示了其在基因组数据分析中的表现。

    May, 2016

  • 大规模稀疏回归：基于一阶优化的分支定界

    本文提出了一种新的混合整数规划框架，结合非线性分支定界和坐标下降方法，用于计算最小二乘回归中的 $l_{0} l_{2}$ 惩罚，证明了该框架不仅比现有方法快很多，而且可以处理一些统计性较强的示例，并提供了 $L0BnB$ 工具箱的开源实现。

    Apr, 2020

  • 基于平均不确定性的鲁棒回归

    我们提出了一种新的鲁棒回归的表述，通过整合不确定性集的所有实现并采用平均方法来获得普通最小二乘回归问题的最优解。我们证明了这个表述意外地恢复了岭回归，并在现有回归问题的鲁棒优化和均方误差方法之间建立了缺失的联系。我们首先证明了四种不确定性集的等价性：椭圆、盒子、钻石和预算，并提供了惩罚项的闭式表达方式，其是样本大小、特征大小以及扰动保护强度的函数。然后我们展示了在具有不同扰动水平的合成数据集中，平均表述比现有最坏情况表述在样本外性能上的一致改进。重要的是，随着扰动水平的增加，改进也增加，这证实了我们方法在高噪声环境中的优势。我们对从 UCI 数据集获得的真实回归问题的样本外数据集中报告了类似的改进。

    Nov, 2023