Jul, 2024

可实现的H-一致和贝叶斯一致的损失函数用于推迟学习

HTML
PDF
TL;DR我们对学习延迟的替代损失函数进行了全面的研究，引入了一类由非递增函数Ψ参数化的广泛替代损失，并在温和条件下建立了其实现的H一致性。对于基于分类误差的成本函数，我们进一步展示了在假设集对称且完备（常见的神经网络和线性函数假设集满足此属性）时，这些损失具有H一致性界限。我们的结果还解决了先前工作(Mozannar et al., 2023)中提出的一个开放问题，通过证明了一个特定替代损失的实现H一致性和贝叶斯一致性。此外，我们还确定了Ψ的选择，以实现任何通用成本函数的H一致性替代损失，从而同时实现了贝叶斯一致性、实现的H一致性和H一致性界限。我们还研究了学习延迟中H一致性界限与实现的H一致性之间的关系，突出了与标准分类的关键差异。最后，我们对我们提出的替代损失进行了经验评估，并将其与现有基准进行了比较。
发现论文，激发创造
  • AUC 两两优化的一致性

    本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件，并证明了指数损失和逻辑损失与AUC一致，但铰链损失是不一致的。基于这个结果，本文还推导了一些与AUC一致的损失函数，进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限，并发现AdaBoost和RankBoost具有相同的指数代理损失。

    Aug, 2012

  • 关于带有校准凸代理损失的结构化预测理论

    本文提出一种新颖的理论框架，利用凸代理损失函数最小化，探讨结构化预测的相关问题，并提供一些保证与监测措施，同时说明了某些任务损失导致学习难度增加，因此普适性最强的0-1损失函数并不适用于一般化的结构化预测。

    Mar, 2017

  • $\mathscr{H}$-替代损失函数最小化器的一致性估计误差

    本文主要研究代理损失估计误差及其保证方法，提供零一损失和对抗性损失两种情况下的具体保证方法，并通过模拟实验证明了其紧密性。

    May, 2022

  • 二元分类的替代风险的敌对一致性

    本文研究了健壮二分类的代理风险的一致性，为任何数据分配，在原始对抗性风险的最小化序列不受影响的情况下，给出了一组一致的代理损失函数的简单和完整的刻画。

    May, 2023

  • 学习多位专家推迟预测的原则方法

    我们提出了一项关于使用多个专家进行学习推迟的代理损失和算法的研究，并证明了这些代理损失从强大的$H$-一致性上获益。我们通过几个实际代理损失的例子阐述了分析的应用，并给出了明确的保证。虽然这项工作的主要焦点是理论分析，但我们还报告了在SVHN和CIFAR-10数据集上的若干实验结果。

    Oct, 2023

  • 基于理论基础的得分为基础的多类弃权的损失函数和算法

    通过引入新的代理损失函数，分析了多类别分类中学习与弃权的打分式公式，证明了这些代理损失函数的非渐近性和假设集特定一致性保证上界了弃权损失函数的估计误差，实验评估了新算法在几个数据集上的效果并展示了阶段性弃权算法的实际重要性。

    Oct, 2023

  • $H$-一致性保证用于回归

    我们对回归的H一致性界限进行了详细研究，提出了适用于回归的H一致性界限的新定理，并针对对称分布和有界假设集的平方损失函数的代理损失函数证明了一系列新的H一致性界限，包括Huber损失、所有的lp损失(p≥1)、平方ε-insensitive损失，以及在平方支持向量回归(SVR)中使用的ε-insensitive损失的负面结果。我们进一步利用我们对回归H一致性的分析，并推导出对抗性回归的合理代理损失函数，从而建立了新的对抗性回归算法，并在第6节报道了有利的实验结果。

    Mar, 2024

  • 一种适用于具有光滑替代损失的学习的通用增长率

    该论文对用于分类的各种代理损失函数的$H$-一致性界限（和超额误差界限）的增长率进行了全面分析。我们证明了二分类中平滑边界为基础的代理损失函数在接近零时的平方根增长率，并在温和假设下提供了上下界限。我们还将此分析扩展到多类分类，并通过一系列新颖的结果展示了平滑comp-sum和约束损失的普遍平方根增长率。在这个普遍率的基础上，我们研究了不同代理损失函数的选择问题，并首先考察了$H$-一致性界限在不同类别的代理损失函数间的变化。然后，我们通过忽略常数并关注接近零时的行为，确定了最小化差距是这些界限差异化因素的关键。因此，我们深入分析这些差距，以指导代理损失函数的选择，并涵盖：对不同的comp-sum损失进行比较，差距变为零的条件，以及导致小差距的一般条件。此外，我们还展示了最小化差距在比较超额误差界限和$H$-一致性界限中的关键作用。

    May, 2024

  • 增强的H一致性界

    基于条件遗憾的关系，我们提出了一种通用框架来建立增强的H一致性边界，这些边界不仅包括现有结果的特例，还能在各种情况下导出更有利的边界，例如：标准多类分类、Tsybakov噪声条件下的二元和多类分类以及二部排序。

    Jul, 2024

  • 具有更强一致性保证的多标签学习

    该研究提出了一种新的代理损失函数——多标签逻辑损失函数，其考虑了标签之间的相关性，并在多标签损失的情况下获得了$H$-一致性界，从而提供了一种强一致性保证的统一代理损失框架。

    Jul, 2024