探讨了基于 Catoni 均值估计的经验风险最小化问题,并发展了基于 Catoni 的均值估计器的链式论据性能界限,以应对损失函数不一定有界,可能具有重尾分布的情况。
Jun, 2014
本文研究了经验风险极小化算法的鲁棒版本,提出了基于代理替换的统计方法,以解决样本中存在离群值的情况,并且在回归问题上的表现得到了检验。
Oct, 2019
关于随机设计回归模型的统计学习研究,我们提出了一种聚合经验最小值的方法,并建立了其风险的尖锐 Oracle 不等式,进一步证明了在良好规定的模型下,统计估计和在错误规定的模型下的统计后悔的速率等价的结论。
Aug, 2013
本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题,证明了在偏差方面,ERB 存在明显缺陷。同时,文中探讨了 ERM 的可接受性定理,并扩展到固定设计和随机设计的各种模型中。最后,提出了 ERM 的稳定性,以及一定条件下 ERM 的近似极小化不足的情况。
May, 2023
本文介绍了一种不使用梯度下降或经验风险最小化技术来构建模型的学习算法,以构建实分析函数模型为例,将熟悉的泰勒逼近方法置于从分布中抽样数据的情境中,并证明了该学习结果的非均匀性。
提出了一种构建稳健风险梯度逼近的算法,在实验中证明可以有效地提高广义学习效率并使用更少的资源,而不会过度依赖于数据。
Jun, 2017
该论文研究了一种简单估计技术在重尾分布下提供指数集中性的应用和推广,证明该技术可用于平滑强凸损失函数的近似最小化,特别是在最小二乘线性回归、稀疏线性回归和低秩协方差矩阵估计中具有类似的特征。
Jul, 2013
通过小球假设,本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下,对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例,并且当应用于经典的有限场景时总是会改善已知的边界。
Jan, 2014
通过使用分布鲁棒优化和 Owen 的经验似然的技术,我们开发了一种风险最小化和随机优化的方法,提供了一个凸代理来实现方差的降低,实现了近乎最优和计算效率之间的权衡,我们给出了一些有限样本和渐近结果来表征估计器的理论性能。
Oct, 2016
本文研究不同设置下差分隐私经验风险最小化问题,提出了比以前更少的梯度复杂度的算法,并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数,给出比传统算法更紧的上界。
Feb, 2018