多类损失矩阵的凸校准维度
本文提出一种新颖的理论框架,利用凸代理损失函数最小化,探讨结构化预测的相关问题,并提供一些保证与监测措施,同时说明了某些任务损失导致学习难度增加,因此普适性最强的 0-1 损失函数并不适用于一般化的结构化预测。
Mar, 2017
本文探讨设计针对 F-Measure 的凸罚函数问题,提出了 F-Measure 的凸罚函数方法,将多标签 F-Measure 学习问题分解为 $s^2+1$ 个二进制分类概率估计问题,并提供了差错传递边界的定量证明,与 Dembczynski 等人的算法有关,并进行了实验证实了论文理论结果。
Sep, 2020
本论文针对计算机视觉中具有挑战性的分类任务,探究了 top-k 误差的一致性分类及校准代理损失的性能,提出了一种具有一致性的新型铰链损失,同时还发现了符号函数作为代理损失函数的限制。
Jan, 2019
机器学习算法在决策情境中的关键因素不仅是模型的准确性,还包括模型的置信水平。然而,模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释,以理解焦损失的行为。我们的分析表明,焦损失可以降低训练模型时损失表面的曲率,这表明曲率可能是实现模型校准的关键因素之一。我们设计了数值实验来支持这一推测,揭示了焦损失的行为以及校准性能与曲率之间的关系。
May, 2024
本文提出了一个理论框架来进行结构化预测,其将多标签,排序回归和图匹配等任务的损失统一了起来,并可以获得条件随机场和二次代理等现有代理方法上的新结果。
Feb, 2019
在多类别分类中,为了设计出一种一致的代理损失函数,将结果嵌入到至少具有 $n-1$ 维的实数空间中是必要的;对于大型的 $n$,优化 $n-1$ 维的代理函数是困难的。本研究探讨了在多类别分类中如何权衡代理损失函数的维度、问题实例的数量以及简单形式下的一致性区域。通过进行嵌入,我们证明了对于每个点的质点分布,存在于高维空间中的全维子集,这些子集具有一致性;但是,在低于 $n-1$ 维的情况下,也存在一种现象称为幻觉,在该现象下,代理损失的最优预测结果是一个概率为零的结果。通过推导出一种检查给定多面体嵌入和低噪声假设下一致性的结果,我们提供了何时使用特定嵌入的洞察。在低噪声假设下,我们提供了将 $n=d!$ 个结果嵌入到 $d$ 维排列多面体以及将 $n=2^d$ 个结果嵌入到 $d$ 维单位立方体的示例。最后,我们证明在有多个问题实例的情况下,我们可以在整个简单形式上学习具有 $rac {n}{2}$ 维的模式。
Feb, 2024
研究凸代理损失函数与二元分类问题中线性预测的分类误差率最小化之间的关系,发现在所有凸代理损失函数中,铰链损失提供了最佳的界限。同时,提供了特定凸代理损失的下界,显示常用损失函数之间的区别。
Jun, 2012