本文研究了经验风险极小化算法的鲁棒版本,提出了基于代理替换的统计方法,以解决样本中存在离群值的情况,并且在回归问题上的表现得到了检验。
Oct, 2019
利用平滑和强凸条件改善风险上界,建立了新的凸优化式 的有限样本错误分析方法。
Feb, 2017
关于随机设计回归模型的统计学习研究,我们提出了一种聚合经验最小值的方法,并建立了其风险的尖锐 Oracle 不等式,进一步证明了在良好规定的模型下,统计估计和在错误规定的模型下的统计后悔的速率等价的结论。
Aug, 2013
本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题,证明了在偏差方面,ERB 存在明显缺陷。同时,文中探讨了 ERM 的可接受性定理,并扩展到固定设计和随机设计的各种模型中。最后,提出了 ERM 的稳定性,以及一定条件下 ERM 的近似极小化不足的情况。
May, 2023
本文研究不同设置下差分隐私经验风险最小化问题,提出了比以前更少的梯度复杂度的算法,并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数,给出比传统算法更紧的上界。
Feb, 2018
在这项工作中,我们证明了实际上只需要大约 d/ε+1/ε² 个数据点,就足够使得任何经验风险最小化器(ERM)在真实总体上表现良好,从而解决了一个中心基础问题,即学习在真实总体上取得好的性能需要观察多少数据点。
Nov, 2023
本文提出了一种流式算法,可以在一次样本遍历中,线性时间内实现并且使用的空间仅为每个样本大小的线性。算法能够在每个问题上达到与 $ERM$ 相同的统计收敛速率,甚至考虑常数因素,而且算法性能随初始误差下降的超多项式速率,算法易于并行。此外,本文量化了算法与 $ERM$ 竞争的(有限样本)速度。
Dec, 2014
该文提出了一种基于随机梯度下降(SGD)的简单算法,旨在在只有点实现度量上接近总体风险而不具备总体风险时,找到基础函数的 epsilon - 近似局部极小值,从而避免我们所谓的浅局部极小值。
Mar, 2018
通过小球假设,本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下,对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例,并且当应用于经典的有限场景时总是会改善已知的边界。
Jan, 2014
本文提出了一种新的随机算法,通过将强凸函数的最小化转化为函数规则化的逼近最小化,从而优化了经验风险最小化过程中的性能,实践表明该算法具有稳定性和行之有效的优势
Jun, 2015