经验 Bernstein 界和样本方差惩罚

Jul, 2009

Empirical Bernstein Bounds and Sample Variance Penalization

Andreas Maurer, Massimiliano Pontil

TL;DR该文给出了改进的经验 Bernstein 界限，在样本数量 n 的多项式增长函数类上均匀成立，并推广到基于数据相关和方差敏感性的置信界限。该界限让我们考虑样本方差惩罚，一种考虑损失函数经验方差的新的学习方法，给出了该样本方差惩罚方法有效的条件，并通过理论与实验结果证明其在一些情况下超过了经验风险最小化。最后，讨论了该方法在样本压缩方案中的潜在应用。

Abstract

We give improved constants for data dependent and variance sensitive confidence bounds, called empirical bernstein bounds, and extend these inequalities to hold uniformly over classes of functionswhose growth function is polynomial in the sample size n. The bounds lead us to consider s

empirical bernstein bounds sample variance penalization excess risk empirical risk minimization sample compression

发现论文，激发创造

基于方差的正则化与凸优化目标

通过使用分布鲁棒优化和 Owen 的经验似然的技术，我们开发了一种风险最小化和随机优化的方法，提供了一个凸代理来实现方差的降低，实现了近乎最优和计算效率之间的权衡，我们给出了一些有限样本和渐近结果来表征估计器的理论性能。

Oct, 2016

学习无需集中注意力

通过小球假设，本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下，对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例，并且当应用于经典的有限场景时总是会改善已知的边界。

Jan, 2014

挑战经验均值和经验方差：偏差研究

基于 PAC-Bayes bounds 的新 M-estimators 方法在随机变量具有有界方差和有界峰度或者仅有界方差的情况下具有非渐进极小方差偏差特性，在分布为重尾分布的情况下，其对某个置信度水平的偏差与统计样本的经验均值的偏差的顺序相同。

Sep, 2010

Bernstein-Orlicz 范数和偏差不等式

本文引入了伯恩斯坦 - 奥利克斯范数、基于树状结构的锁定与锁定泛化，用熵和分支预测树实现锁定的链式化，讨论了非有界情形下经验过程的偏差不等式。

Nov, 2011

经验熵、最小化后悔和最小化风险

关于随机设计回归模型的统计学习研究，我们提出了一种聚合经验最小值的方法，并建立了其风险的尖锐 Oracle 不等式，进一步证明了在良好规定的模型下，统计估计和在错误规定的模型下的统计后悔的速率等价的结论。

Aug, 2013

无方差损失的经验风险最小化

本文研究了在重尾设置下的经验风险最小化问题，通过使用 Catoni 方法对风险值进行稳健估计，利用广义泛函链方法建立了超额风险上限界，并通过数值研究表明，基于 Catoni 风格估计的经验风险优化方法比其他基线方法表现更好。

Sep, 2023

基于细粒度动态框架的偏差 - 方差联合优化在非随机丢失数据上的研究

大多数实际应用中的数据收集通常包含缺失值，这些缺失值通常是非随机缺失，从而降低了模型的预测性能。本文首先从理论上揭示了正则化技术的局限性，并进一步说明，对于更一般的估计器，无偏性必然导致方差无界。然后，我们开发了一种系统的精细动态学习框架，通过预定义的目标函数为每个用户 - 项对自适应选择适当的估计器，从而联合优化偏差和方差。通过这种操作，模型的泛化界限和方差减少并且有理论保证。通过大量实验证实了理论结果和所提出的动态学习框架的有效性。

May, 2024

稀疏深度神经网络的统计学习

基于经验风险最小化与 l_1 正则化的深度神经网络估计器，我们推导出其在回归和分类（包括多类别）中的过量风险的一般界限，并证明它在各种函数类的整个范围内几乎达到最小值（取对数因子）。

Nov, 2023

超越最小二乘法：通过自协调快速收敛正则化经验风险最小化

通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

Feb, 2019

统计学习的风险界限

本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界，并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析，以便处理一些测量分类器类 “大小” 的方式，特别地，当分类规则属于某个 VC 类且满足边缘条件时，我们推导出 ERM 的新风险上界，并讨论这些上界在极小化意义下的最优性。

Feb, 2007