鲁棒性经验风险最小化中过度风险界
探讨了基于 Catoni 均值估计的经验风险最小化问题,并发展了基于 Catoni 的均值估计器的链式论据性能界限,以应对损失函数不一定有界,可能具有重尾分布的情况。
Jun, 2014
本文提出了一种流式算法,可以在一次样本遍历中,线性时间内实现并且使用的空间仅为每个样本大小的线性。算法能够在每个问题上达到与 $ERM$ 相同的统计收敛速率,甚至考虑常数因素,而且算法性能随初始误差下降的超多项式速率,算法易于并行。此外,本文量化了算法与 $ERM$ 竞争的(有限样本)速度。
Dec, 2014
关于随机设计回归模型的统计学习研究,我们提出了一种聚合经验最小值的方法,并建立了其风险的尖锐 Oracle 不等式,进一步证明了在良好规定的模型下,统计估计和在错误规定的模型下的统计后悔的速率等价的结论。
Aug, 2013
本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界,并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析,以便处理一些测量分类器类 “大小” 的方式,特别地,当分类规则属于某个 VC 类且满足边缘条件时,我们推导出 ERM 的新风险上界,并讨论这些上界在极小化意义下的最优性。
Feb, 2007
本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题,证明了在偏差方面,ERB 存在明显缺陷。同时,文中探讨了 ERM 的可接受性定理,并扩展到固定设计和随机设计的各种模型中。最后,提出了 ERM 的稳定性,以及一定条件下 ERM 的近似极小化不足的情况。
May, 2023
本文研究了在重尾设置下的经验风险最小化问题,通过使用 Catoni 方法对风险值进行稳健估计,利用广义泛函链方法建立了超额风险上限界,并通过数值研究表明,基于 Catoni 风格估计的经验风险优化方法比其他基线方法表现更好。
Sep, 2023
本文研究高维度的鲁棒线性回归,包括离群值和使用标准损失函数的经验风险最小化(ERMs)方法。结果显示,在相似数据集上,经过最优正则化的 ERM 在大样本复杂性极限下是渐近一致的,但在评估误差方面,由于规范标定的失配,估计器的一致性要求完美计算最优规范的预估值或存在未受离群值污染的交叉验证集。不同的损失函数在最优性能的使用情况下提供了有关使用情况的见解。
May, 2023
该研究论文旨在通过建立均匀偏差结果,探讨如何通过 Monte-Carlo 方法得到不完整的 $U$- 统计量,从而实现在数据函数最小化过程中降低计算复杂度,在适当的复杂性假设下,显示出不影响经验风险最小化程序的学习率,并证明了该方法优于其他采样技术。
Jan, 2015