经验风险最小化与 f - 散度家族中的正则化的等价性

Feb, 2024

经验风险最小化与 f - 散度家族中的正则化的等价性

Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences

Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza, H. Vincent Poor

TL;DR给定函数 $f$ 的分裂散度正则化 (Empirical Risk Minimization with $f$-Divergence Regularization) 的解决方案，该解决方案在 $f$ 的条件适当的情况下，得到最优测度是唯一的。通过利用 $f$-divergences 家族的灵活性，得到了对于特定 $f$ 函数选择的解决方案，包括使用相对熵正则化（Type-I 和 Type-II）的唯一解。当在 ERM-$f$DR 问题中使用 $f$-divergence 时，解决方案的分析揭示了以下性质：$i$）$f$-divergence 正则化使得解决方案的支持与参考测度的支持重合，从而引入了强大的归纳偏差，支配着训练数据提供的证据；和 $ii$）任何 $f$-divergence 正则化都等价于使用适当的经验风险函数转换的不同 $f$-divergence 正则化。

Abstract

The solution to empirical risk minimization with $f$-divergence regularization (ERM-$f$DR) is presented under mild conditions on $f$. Under such conditions, the optimal measure is shown to be unique. Examples of

empirical risk minimization $f$-divergence regularization unique solution support

发现论文，激发创造

基于 $f$- 散度和 $α$-Rényi 散度的鲁棒半监督学习

研究了适用于半监督学习中自训练方法的一系列经验风险函数和正则化方法，这些方法受到各种差异度量的启示。通过对差异度量理论基础的启发，即差异度量和 Rényi 差异度量，我们还提供了有益的见解，以增强对我们的经验风险函数和正则化技术的理解。在伪标签和熵最小化技术中，作为有效半监督学习的自训练方法，自训练过程存在真实标签和伪标签之间的不匹配（噪声伪标签），我们的一些经验风险函数在处理噪声伪标签方面表现出稳健性。在一些条件下，与传统的自训练方法相比，我们的经验风险函数表现出更好的性能。

May, 2024

重新审视差分隐私的经验风险最小化问题：更快且更广泛

本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

Feb, 2018

高维岭回归经验风险最小化的基本限制

本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

Jun, 2020

通过凸风险最小化估计分歧函数和似然比

本文提出了一种基于非渐进变分表征的凸经验风险优化方法，用于估计 $f$- 散度和两个概率分布的似然比，通过解决标准凸规划求解，可以实现简单的实现，可在某些情况下达到最优最小风险速率。

Sep, 2008

$f$- 散度不等式

本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

Aug, 2015

通过最小 - 最大 F - 散度正则化学习公平分类器

本文提出了一种新颖的 min-max F-divergence 规则框架，通过两个可训练网络（分类器网络和偏差 / 公平估计器网络），使用统计概念中的 F-divergence 度量公平性，学习公平的分类模型，同时保持高准确率，可适用于多个敏感属性和高维数据集。该框架针对两种群体公平性限制进行 F-divergence 规则模式的研究，进行了一系列实验，结果显示该框架在准确性和公平性之间的平衡方面实现了最先进的性能。

Jun, 2023

论经验风险最小化的方差、可接受性和稳定性

本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题，证明了在偏差方面，ERB 存在明显缺陷。同时，文中探讨了 ERM 的可接受性定理，并扩展到固定设计和随机设计的各种模型中。最后，提出了 ERM 的稳定性，以及一定条件下 ERM 的近似极小化不足的情况。

May, 2023

在 $f$- 散度和积分概率度量之间的最优界限

该研究系统研究了从凸性对偶的角度出发将 $f$-divergences 和 Integral Probability Metrics 两个家族联系在一起的关系，派生出一种广义的矩生成函数并在此基础上得出了许多针对 $f$-divergences 的新的下限。此外，研究还证明了衍生出的这种下限的不同拓扑性质。

Jun, 2020

在存在异常值的情况下，鲁棒性经验风险最小化性能的渐近特征

本文研究高维度的鲁棒线性回归，包括离群值和使用标准损失函数的经验风险最小化（ERMs）方法。结果显示，在相似数据集上，经过最优正则化的 ERM 在大样本复杂性极限下是渐近一致的，但在评估误差方面，由于规范标定的失配，估计器的一致性要求完美计算最优规范的预估值或存在未受离群值污染的交叉验证集。不同的损失函数在最优性能的使用情况下提供了有关使用情况的见解。

May, 2023

通过限制概率测度实现 f - 分歧的更紧凑变分表示

本文通过收紧文献中已使用的 f-divergences 变分表示方法，提出了更紧的表示方法。作为一个示例应用，我们使用更紧的表示法推导出一种基于两个独立同分布样本的通用的 f-divergence 估计器，并推导出该估计器的对偶程序，在实践中表现良好。我们还指出了该估计器与最大均值差异 (MMD) 之间的联系。

Jun, 2012