ICLRJul, 2020

倾斜的经验风险最小化

PDF
TL;DR本文提出了一种名为 tilted empirical risk minimization (TERM) 的新框架，通过引入一个称之为 tilt 的超参数，它能够灵活调整每个个体损失的影响，以实现对离群点的鲁棒性或公平性，同时具有减少方差，促进泛化和处理类别不平衡的能力。我们通过发展批和随机一阶优化方法来解决 TERM 问题，并证明它相对于常见的替代方案，能够高效地解决这个问题。除了在现有解决方案这些问题，提出方案竞争力之外，我们还将 TERM 用于多种应用，如在亚组之间实施公平性，减轻离群值的影响以及处理类别失衡问题。
empirical risk minimizationtilted empirical risk minimizationrobustnessfairnessoutliers
发现论文，激发创造
  • 机器学习中的倾斜损失：理论和应用

    本文研究借助指数调控风险函数的方式进行模型优化的问题，提出了倾斜经验风险最小化（TERM）框架及其优化方法，该方法可以灵活地调节损失的影响，减小异常值的影响或增加其公平性，同时具有降低方差和处理不均衡数据的能力，与 Value-at-Risk、CVaR、DRO 等相关优化目标具有严密的联系，并表现出超越传统 ERM 框架的性能。

    Sep, 2021

  • 论经验风险最小化的方差、可接受性和稳定性

    本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题，证明了在偏差方面，ERB 存在明显缺陷。同时，文中探讨了 ERM 的可接受性定理，并扩展到固定设计和随机设计的各种模型中。最后，提出了 ERM 的稳定性，以及一定条件下 ERM 的近似极小化不足的情况。

    May, 2023

  • 高维岭回归经验风险最小化的基本限制

    本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

    Jun, 2020

  • 重新审视差分隐私的经验风险最小化问题：更快且更广泛

    本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

    Feb, 2018

  • 在单次遍历中与经验风险最小化器竞争

    本文提出了一种流式算法，可以在一次样本遍历中，线性时间内实现并且使用的空间仅为每个样本大小的线性。算法能够在每个问题上达到与 $ERM$ 相同的统计收敛速率，甚至考虑常数因素，而且算法性能随初始误差下降的超多项式速率，算法易于并行。此外，本文量化了算法与 $ERM$ 竞争的（有限样本）速度。

    Dec, 2014

  • 无任何群组信息的群组鲁棒分类

    这项研究提出了一个修订的方法来在完全无偏见的情况下进行训练和验证无偏见模型，通过采用预训练的自监督模型可靠地提取偏见信息，并与我们的验证准则结合使用逻辑调整训练损失函数。我们的实证分析证明了我们的方法克服了所发现的挑战，始终提高了鲁棒准确性，达到与或优于依赖偏见标签进行验证的最先进方法的性能。

    Oct, 2023

  • 正则化经验风险最小化的分布式块对角逼近方法

    本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

    Sep, 2017

  • 统计学习的风险界限

    本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界，并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析，以便处理一些测量分类器类 “大小” 的方式，特别地，当分类规则属于某个 VC 类且满足边缘条件时，我们推导出 ERM 的新风险上界，并讨论这些上界在极小化意义下的最优性。

    Feb, 2007

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • 重尾损失函数的经验风险最小化

    探讨了基于 Catoni 均值估计的经验风险最小化问题，并发展了基于 Catoni 的均值估计器的链式论据性能界限，以应对损失函数不一定有界，可能具有重尾分布的情况。

    Jun, 2014