研究使用经验风险最小化解决预测和估计问题,针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下,例如在重尾场景中,我们也可以获得尖锐的误差率。我们的结果表明,误差率取决于两个参数:一个捕捉类别的内在复杂性,以实质上在无噪声(或可实现)问题中导致误差率;另一个衡量类成员之间的交互、目标和损失,并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。
Oct, 2014
该论文研究了一种简单估计技术在重尾分布下提供指数集中性的应用和推广,证明该技术可用于平滑强凸损失函数的近似最小化,特别是在最小二乘线性回归、稀疏线性回归和低秩协方差矩阵估计中具有类似的特征。
Jul, 2013
提出了一种构建稳健风险梯度逼近的算法,在实验中证明可以有效地提高广义学习效率并使用更少的资源,而不会过度依赖于数据。
Jun, 2017
本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界,并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析,以便处理一些测量分类器类 “大小” 的方式,特别地,当分类规则属于某个 VC 类且满足边缘条件时,我们推导出 ERM 的新风险上界,并讨论这些上界在极小化意义下的最优性。
Feb, 2007
经验风险最小化算法(ERM)在已知数据集且平滑的情况下,能够实现次线性误差,并且具有统计复杂性的概念。
Feb, 2024
本文研究了经验风险极小化算法的鲁棒版本,提出了基于代理替换的统计方法,以解决样本中存在离群值的情况,并且在回归问题上的表现得到了检验。
Oct, 2019
通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法,我们考虑了线性预测器和非线性预测器的设置,同时包括正定核。针对这类损失,作者提出了一种偏差 - 方差分解思路,并通过改善偏差项、方差项或二者同时来快速逼近渐进速率,从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。
Feb, 2019
基于经验风险最小化与 l_1 正则化的深度神经网络估计器,我们推导出其在回归和分类(包括多类别)中的过量风险的一般界限,并证明它在各种函数类的整个范围内几乎达到最小值(取对数因子)。
Nov, 2023
利用平滑和强凸条件改善风险上界,建立了新的凸优化式 的有限样本错误分析方法。
Feb, 2017
本文介绍了一种不使用梯度下降或经验风险最小化技术来构建模型的学习算法,以构建实分析函数模型为例,将熟悉的泰勒逼近方法置于从分布中抽样数据的情境中,并证明了该学习结果的非均匀性。
May, 2023