提出了一种构建稳健风险梯度逼近的算法,在实验中证明可以有效地提高广义学习效率并使用更少的资源,而不会过度依赖于数据。
Jun, 2017
该文提出了一种基于随机梯度下降(SGD)的简单算法,旨在在只有点实现度量上接近总体风险而不具备总体风险时,找到基础函数的 epsilon - 近似局部极小值,从而避免我们所谓的浅局部极小值。
Mar, 2018
本文研究了经验风险极小化算法的鲁棒版本,提出了基于代理替换的统计方法,以解决样本中存在离群值的情况,并且在回归问题上的表现得到了检验。
Oct, 2019
本文研究了在重尾设置下的经验风险最小化问题,通过使用 Catoni 方法对风险值进行稳健估计,利用广义泛函链方法建立了超额风险上限界,并通过数值研究表明,基于 Catoni 风格估计的经验风险优化方法比其他基线方法表现更好。
Sep, 2023
本文提出了一种流式算法,可以在一次样本遍历中,线性时间内实现并且使用的空间仅为每个样本大小的线性。算法能够在每个问题上达到与 $ERM$ 相同的统计收敛速率,甚至考虑常数因素,而且算法性能随初始误差下降的超多项式速率,算法易于并行。此外,本文量化了算法与 $ERM$ 竞争的(有限样本)速度。
Dec, 2014
本文讨论了随机优化中的种群风险以及解决大规模问题中经验风险计算的困难,提出了一种基于随机梯度下降算法的解决方案,以 OLS 估计器为基础进行最小化种群风险的近似。
Nov, 2016
本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界,并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析,以便处理一些测量分类器类 “大小” 的方式,特别地,当分类规则属于某个 VC 类且满足边缘条件时,我们推导出 ERM 的新风险上界,并讨论这些上界在极小化意义下的最优性。
Feb, 2007
通过小球假设,本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下,对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例,并且当应用于经典的有限场景时总是会改善已知的边界。
Jan, 2014
基于经验风险最小化与 l_1 正则化的深度神经网络估计器,我们推导出其在回归和分类(包括多类别)中的过量风险的一般界限,并证明它在各种函数类的整个范围内几乎达到最小值(取对数因子)。
Nov, 2023
介绍了一种基于经验风险最小化的算法,通过将公平性约束条件融入到学习问题中,实现敏感变量不会不公平地影响分类器的结果,得出了公平性和风险的界限,对核方法进行了特定说明,发现公平性要求意味着正交性约束,此约束可轻松添加到这些方法中,特别是对于线性模型,约束转化为一个简单的数据预处理步骤,实验证明该算法具有实用性,表现优于最先进的方法。
Feb, 2018