重尾损失函数的经验风险最小化
本文研究了在重尾设置下的经验风险最小化问题,通过使用 Catoni 方法对风险值进行稳健估计,利用广义泛函链方法建立了超额风险上限界,并通过数值研究表明,基于 Catoni 风格估计的经验风险优化方法比其他基线方法表现更好。
Sep, 2023
该论文研究了一种简单估计技术在重尾分布下提供指数集中性的应用和推广,证明该技术可用于平滑强凸损失函数的近似最小化,特别是在最小二乘线性回归、稀疏线性回归和低秩协方差矩阵估计中具有类似的特征。
Jul, 2013
本文研究了概率测度 $P$ 均值的健壮估计量,提出了一种稍微复杂的构造方法以处理健壮 $M$- 估计问题,并将该方法应用于最小二乘密度估计、具有 Kullback 损失的密度估计以及非高斯、不受限制的随机设计和异方差回归问题,同时作者表明该策略也可以用于数据只被假设为混合的情况。
Dec, 2011
本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题,证明了在偏差方面,ERB 存在明显缺陷。同时,文中探讨了 ERM 的可接受性定理,并扩展到固定设计和随机设计的各种模型中。最后,提出了 ERM 的稳定性,以及一定条件下 ERM 的近似极小化不足的情况。
May, 2023
本文提供一个元问题和一个对偶定理,通过这个元问题和对偶定理,我们从新的统一的视角研究了高维健壮统计和重尾分布均值估计问题,并展示了一个既简单又高效的算法,该算法用于处理两个不同问题通过两种算法最终合并实现了 “大同小异”
Jul, 2020
通过小球假设,本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下,对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例,并且当应用于经典的有限场景时总是会改善已知的边界。
Jan, 2014
本文介绍了一种不使用梯度下降或经验风险最小化技术来构建模型的学习算法,以构建实分析函数模型为例,将熟悉的泰勒逼近方法置于从分布中抽样数据的情境中,并证明了该学习结果的非均匀性。
May, 2023