May, 2024

一种适用于具有光滑替代损失的学习的通用增长率

HTML
PDF
TL;DR该论文对用于分类的各种代理损失函数的$H$-一致性界限（和超额误差界限）的增长率进行了全面分析。我们证明了二分类中平滑边界为基础的代理损失函数在接近零时的平方根增长率，并在温和假设下提供了上下界限。我们还将此分析扩展到多类分类，并通过一系列新颖的结果展示了平滑comp-sum和约束损失的普遍平方根增长率。在这个普遍率的基础上，我们研究了不同代理损失函数的选择问题，并首先考察了$H$-一致性界限在不同类别的代理损失函数间的变化。然后，我们通过忽略常数并关注接近零时的行为，确定了最小化差距是这些界限差异化因素的关键。因此，我们深入分析这些差距，以指导代理损失函数的选择，并涵盖：对不同的comp-sum损失进行比较，差距变为零的条件，以及导致小差距的一般条件。此外，我们还展示了最小化差距在比较超额误差界限和$H$-一致性界限中的关键作用。
发现论文，激发创造
  • 多类损失矩阵的凸校准维度

    研究多分类学习问题的替代损失函数的一致性属性，提出了分类校准和凸校准维度的概念和理论，并应用于分析各种损失矩阵和证明在子集排名下某些类型的凸校准替代损失不存在。

    Aug, 2014

  • $\mathscr{H}$-替代损失函数最小化器的一致性估计误差

    本文主要研究代理损失估计误差及其保证方法，提供零一损失和对抗性损失两种情况下的具体保证方法，并通过模拟实验证明了其紧密性。

    May, 2022

  • 二元分类的替代风险的敌对一致性

    本文研究了健壮二分类的代理风险的一致性，为任何数据分配，在原始对抗性风险的最小化序列不受影响的情况下，给出了一组一致的代理损失函数的简单和完整的刻画。

    May, 2023

  • 预测者-排斥者多类弃权：理论分析与算法

    我们研究了多类别分类中的学习与弃权的关键框架，介绍了一系列新的理论和算法结果，提出了几个新的代理损失函数家族，并分析了单阶段和两阶段学习设置的保证和应用，证明了我们的代理损失的优越性，并展示了广泛适用的两阶段弃权算法的卓越性能。

    Oct, 2023

  • 利用Fenchel-Young损失和改进的替代遗憾实现的在线结构化预测与在线多类别分类与逻辑损失

    该研究在在线结构预测中应用了Fenchel-Young loss以及随机解码方法，并通过引入利用替代差距框架获得了有限的代价后悔界限，对多类别分类问题中的在线多类别分类进行了改进，得到了精确度以域直径的对数因子优化的有限代价后悔界限。

    Feb, 2024

  • 交换凸代理的一致性与维度对模态的权衡

    在多类别分类中，为了设计出一种一致的代理损失函数，将结果嵌入到至少具有$n-1$维的实数空间中是必要的；对于大型的$n$，优化$n-1$维的代理函数是困难的。本研究探讨了在多类别分类中如何权衡代理损失函数的维度、问题实例的数量以及简单形式下的一致性区域。通过进行嵌入，我们证明了对于每个点的质点分布，存在于高维空间中的全维子集，这些子集具有一致性；但是，在低于$n-1$维的情况下，也存在一种现象称为幻觉，在该现象下，代理损失的最优预测结果是一个概率为零的结果。通过推导出一种检查给定多面体嵌入和低噪声假设下一致性的结果，我们提供了何时使用特定嵌入的洞察。在低噪声假设下，我们提供了将$n=d!$个结果嵌入到$d$维排列多面体以及将$n=2^d$个结果嵌入到$d$维单位立方体的示例。最后，我们证明在有多个问题实例的情况下，我们可以在整个简单形式上学习具有$ rac{n}{2}$维的模式。

    Feb, 2024

  • $H$-一致性保证用于回归

    我们对回归的H一致性界限进行了详细研究，提出了适用于回归的H一致性界限的新定理，并针对对称分布和有界假设集的平方损失函数的代理损失函数证明了一系列新的H一致性界限，包括Huber损失、所有的lp损失(p≥1)、平方ε-insensitive损失，以及在平方支持向量回归(SVR)中使用的ε-insensitive损失的负面结果。我们进一步利用我们对回归H一致性的分析，并推导出对抗性回归的合理代理损失函数，从而建立了新的对抗性回归算法，并在第6节报道了有利的实验结果。

    Mar, 2024

  • Top-k 分类与基数感知预测

    我们研究了top-k分类的细节，该任务是预测输入的$k$个可能的类别，超越单一分类预测。我们证明了多类别分类中的几种普遍代理损失函数，如comp-sum和约束损失，具有相对于top-k损失的H一致性界限。这些界限保证了与假设集$H$相关的一致性，提供比贝叶斯一致性更强的保证，因为它们是非渐近和假设集特定的。为了解决准确性和基数$k$之间的权衡，我们进一步通过实例依赖的成本敏感学习引入了基数感知的损失函数。对于这些函数，我们得到了成本敏感的comp-sum和约束代理损失，建立了它们的H一致性界限和贝叶斯一致性。最小化这些损失会导致新的基数感知算法应用于top-k分类。我们报道了在CIFAR-100、ImageNet、CIFAR-10和SVHN数据集上的大量实验证明了这些算法的有效性和好处。

    Mar, 2024

  • 可实现的H-一致和贝叶斯一致的损失函数用于推迟学习

    我们对学习延迟的替代损失函数进行了全面的研究，引入了一类由非递增函数Ψ参数化的广泛替代损失，并在温和条件下建立了其实现的H一致性。对于基于分类误差的成本函数，我们进一步展示了在假设集对称且完备（常见的神经网络和线性函数假设集满足此属性）时，这些损失具有H一致性界限。我们的结果还解决了先前工作(Mozannar et al., 2023)中提出的一个开放问题，通过证明了一个特定替代损失的实现H一致性和贝叶斯一致性。此外，我们还确定了Ψ的选择，以实现任何通用成本函数的H一致性替代损失，从而同时实现了贝叶斯一致性、实现的H一致性和H一致性界限。我们还研究了学习延迟中H一致性界限与实现的H一致性之间的关系，突出了与标准分类的关键差异。最后，我们对我们提出的替代损失进行了经验评估，并将其与现有基准进行了比较。

    Jul, 2024

  • 增强的H一致性界

    基于条件遗憾的关系，我们提出了一种通用框架来建立增强的H一致性边界，这些边界不仅包括现有结果的特例，还能在各种情况下导出更有利的边界，例如：标准多类分类、Tsybakov噪声条件下的二元和多类分类以及二部排序。

    Jul, 2024