基于分布的 Gibbs-ERM 原理分析

Feb, 2019

Distribution-Dependent Analysis of Gibbs-ERM Principle

Ilja Kuzborskij, Nicolò Cesa-Bianchi, Csaba Szepesvári

TL;DR本研究通过对 Gibbs-ERM 学习的实验，得出使用正则化经验风险的 Gibbs-ERM 学习器所遭受的过度风险并受数据生成分布和大假设空间影响的分布依赖上界受有效维度控制，这对于研究技术至关重要。

Abstract

gibbs-erm learning is a natural idealized model of learning with stochastic optimization algorithms (such as Stochastic Gradient Langevin Dynamics and ---to some extent--- Stochastic Gradient Descent), while it also arises in other contexts, including PAC-Bayesian theory, and sampling

gibbs-erm learning stochastic optimization excess risk effective dimension gibbs densities

发现论文，激发创造

高维岭回归经验风险最小化的基本限制

本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

Jun, 2020

使用 Gibbs 算法表征和理解传递学习的泛化误差

本研究对基于 Gibbs 的转移学习算法的泛化能力进行了信息论分析，结果表明转移学习的好处可以看作是源分布引起的偏差和目标样本不足引起的方差的权衡。

Nov, 2021

重新审视差分隐私的经验风险最小化问题：更快且更广泛

本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

Feb, 2018

费米博士：一种随机分布鲁棒公平经验风险最小化框架

提出了首个具有收敛保证的随机分布鲁棒公平性框架，不需要对因果图的了解，在分布转移的环境中将公平推断制定为 $L_p$ 范数不确定性集合下的分布鲁棒优化问题。

Sep, 2023

正则化经验风险最小化的分布式块对角逼近方法

本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

Sep, 2017

统计学习的风险界限

本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界，并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析，以便处理一些测量分类器类 “大小” 的方式，特别地，当分类规则属于某个 VC 类且满足边缘条件时，我们推导出 ERM 的新风险上界，并讨论这些上界在极小化意义下的最优性。

Feb, 2007

基于统一 PAC-Bayesian-Rademacher-Shtarkov-MDL 复杂度的紧致过量风险界

提出了一种新的学习理论复杂性概念，它在经验风险最小化和贝叶斯估计器的情况下分别以数据无关的 Rademacher 复杂度和数据相关的信息复杂度进行上限绑定，并通过 Rademacher 复杂度将其与 $L_2 (P)$ 熵进行关联。该研究进一步使用 ' 易于理解 ' 和模型复杂性等相互分离的方法，提供适用于 VC 和多项式熵类的最优性差距上限。

Oct, 2017

贝叶斯学习中的最小超额风险

本文探讨了基于生成模型下贝叶斯学习的最佳性能，并通过定义和上界最小超额风险（MER）来说明不同不确定性的概念，包括 aleatoric 不确定性和最小认知不确定性。

Dec, 2020

深度人工神经网络中经验风险最小化对一般化误差的分析：在数值求解 Black-Scholes 偏微分方程中克服维数灾难

探讨深度神经网络假设类上基于经验风险最小化 (ERM) 的新分类和回归算法在高维偏微分方程数值解中克服维数灾难的条件，并说明在多项式时间内只需合适数量的样本即可获得解。

Sep, 2018

使用 Wasserstein 距离进行极小极大统计学习

本论文基于 Wasserstein 空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。

May, 2017