May, 2023

在存在异常值的情况下，鲁棒性经验风险最小化性能的渐近特征

PDF
TL;DR本文研究高维度的鲁棒线性回归，包括离群值和使用标准损失函数的经验风险最小化（ERMs）方法。结果显示，在相似数据集上，经过最优正则化的 ERM 在大样本复杂性极限下是渐近一致的，但在评估误差方面，由于规范标定的失配，估计器的一致性要求完美计算最优规范的预估值或存在未受离群值污染的交叉验证集。不同的损失函数在最优性能的使用情况下提供了有关使用情况的见解。
high-dimensionaloutliersrobust linear regressionermsloss function
发现论文，激发创造
  • 高维岭回归经验风险最小化的基本限制

    本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

    Jun, 2020

  • 当恶意异常值污染标签时，ERM 和 RERM 是回归问题的最优估计器

    本文研究了具有凸且 L-Lipschitz 损失函数的回归问题的经验风险最小化器（ERM）和正则化经验风险最小化器（RERM）。结果可用于许多非正则化和正则化过程，在噪声较弱的情况下为赫伯的 M - 估计量（没有惩罚项或由 L1 范数进行正则化）和在可重现内积希尔伯特空间中的一般正则化学习问题提供结果，噪声可以是重尾的。

    Oct, 2019

  • 重新审视差分隐私的经验风险最小化问题：更快且更广泛

    本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

    Feb, 2018

  • 高维重尾数据下的健壮回归：渐近性和普适性

    我们研究了在协变量和响应函数都存在重尾污染的情况下，强鲁棒回归估计器的高维特性。尤其是，我们针对一族包括无二阶甚至更高阶矩不存在情况下的椭圆形协变量和噪声数据分布，提供了 M - 估计的锐性渐近特性描述。我们表明，尽管具有一致性，在存在重尾噪声的高维情形中，优化调整的 Huber 损失与位置参数 δ 是次优的，强调了需要进一步正则化以达到最佳性能的必要性。这个结果还揭示了 δ 作为样本复杂性和污染的函数的一个有趣的转变的存在。此外，我们导出了岭回归的超额风险的衰减速率。我们表明，对于有限二阶矩的噪声分布，岭回归虽然是最佳的且适用的，但当协变量的二阶矩不存在时，它的衰减速率可能会更快。最后，我们展示了我们的公式可以方便地推广到更丰富的模型和数据分布，如对混合模型的任意凸正则化训练的广义线性估计。

    Sep, 2023

  • 经验熵、最小化后悔和最小化风险

    关于随机设计回归模型的统计学习研究，我们提出了一种聚合经验最小值的方法，并建立了其风险的尖锐 Oracle 不等式，进一步证明了在良好规定的模型下，统计估计和在错误规定的模型下的统计后悔的速率等价的结论。

    Aug, 2013

  • 关于平滑数据的经验风险最小化性能

    经验风险最小化算法（ERM）在已知数据集且平滑的情况下，能够实现次线性误差，并且具有统计复杂性的概念。

    Feb, 2024

  • 鲁棒性经验风险最小化中过度风险界

    本文研究了经验风险极小化算法的鲁棒版本，提出了基于代理替换的统计方法，以解决样本中存在离群值的情况，并且在回归问题上的表现得到了检验。

    Oct, 2019

  • 差分隐私的非交互式局部模型中的经验风险最小化

    本文研究了在非交互式局部差分隐私（LDP）模型下经验风险最小化（ERM）问题，利用 Bernstein 多项式逼近方法和内积多项式逼近技术提出了两种解决高维数据下样本复杂度指数级上升的方法，最终提出了用于学习 k 维边际查询和平滑查询的（高效的）非交互式局部差分隐私算法。

    Nov, 2020

  • 正则化和非正则化经验风险最小化的高维分类：精确误差和最优损失

    本文通过理论分析，在高维数据考虑时，通过经验风险最小化框架的分类性能，针对两类高斯混合问题，提出了精确的分类误差预测，并且提出了在岭正则化和非正则化的情况下，都采用简单的平方损失作为高维分类的最优选择。

    May, 2019

  • 论经验风险最小化的方差、可接受性和稳定性

    本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题，证明了在偏差方面，ERB 存在明显缺陷。同时，文中探讨了 ERM 的可接受性定理，并扩展到固定设计和随机设计的各种模型中。最后，提出了 ERM 的稳定性，以及一定条件下 ERM 的近似极小化不足的情况。

    May, 2023