使用 Fenchel-Young Loss 函数学习分类器：广义熵、边际和算法

May, 2018

使用 Fenchel-Young Loss 函数学习分类器：广义熵、边际和算法

Learning Classifiers with Fenchel-Young Losses: Generalized Entropies, Margins, and Algorithms

Mathieu Blondel, André F. T. Martins, Vlad Niculae

TL;DR本文研究了一种通用的凸损失函数构造方式：Fenchel-Young losses，分析了它们的特性，并表明这种构造方式统一了许多著名的损失函数，并能轻松创建有用的新函数；Fenchel-Young losses 来源于广义熵的特性，包括 Shannon 和 Tsallis 熵，能产生预测概率分布；我们提出了广义熵产生具有分离间隔和稀疏支持概率分布的损失的条件，并得出了有效的算法，使 Fenchel-Young losses 在理论和实践中都具有吸引力。

Abstract

This paper studies fenchel-young losses, a generic way to construct convex loss functions from a regularization function. We analyze their properties in depth, showing that they unify many well-known loss functio

fenchel-young losses convex loss functions regularization function generalized entropy predictive probability distributions

发现论文，激发创造

Fenchel-Young 损失函数的学习

本文介绍了一种用于构建基于正则化预测函数的凸损失函数的泛化方法 ——Fenchel-Young 损失，并深入研究了其性质，包括与稀疏性、广义熵和分离边界之间的新联系，从而揭示了许多著名损失函数的统一性并方便地创建新的损失函数。此外，本文还推导了有效的预测和训练算法，使得 Fenchel-Young 损失在理论和实践上都非常有吸引力。

Jan, 2019

利用 Fenchel-Young 损失和改进的替代遗憾实现的在线结构化预测与在线多类别分类与逻辑损失

该研究在在线结构预测中应用了 Fenchel-Young loss 以及随机解码方法，并通过引入利用替代差距框架获得了有限的代价后悔界限，对多类别分类问题中的在线多类别分类进行了改进，得到了精确度以域直径的对数因子优化的有限代价后悔界限。

Feb, 2024

使用 Fitzpatrick Losses 学习

引入了 Fitzpatrick 损失函数，它是一种基于 Fitzpatrick 函数的新型凸损失函数，与 Fenchel-Young 损失函数具有相同的链接函数，但更紧致，同时保持预测的链接函数。

May, 2024

不需集中注意力的普遍损失函数学习

研究使用经验风险最小化解决预测和估计问题，针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下，例如在重尾场景中，我们也可以获得尖锐的误差率。我们的结果表明，误差率取决于两个参数：一个捕捉类别的内在复杂性，以实质上在无噪声（或可实现）问题中导致误差率；另一个衡量类成员之间的交互、目标和损失，并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。

Oct, 2014

一种极小极大法用于监督学习

引入最大熵原理的一般化方法，应用于带有从数据中得出的经验边缘条件的分布集合，提出一种针对监督学习问题的通用 minimax 方法，其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器，并且通过实验表明可以优于其他线性分类器，同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。

Jun, 2016

统一的二元和多类边界分类

通过相对边际形式表达多类损失函数的广泛适用性及其对分类 - 校准的扩展分析

Nov, 2023

使用 Focal Loss 对抗浅层启发式：一项关于调制交叉熵在自然语言推理中的经验分析

本文探讨了使用改进的交叉熵损失函数 focal loss 来约束模型并提高泛化性能的方法，并在自然语言推理方面进行了实验，展示了 focal loss 对学习过程的正则影响，提高了对未知数据的准确性，但其相对于其他方法（如无偏置聚焦损失和自我偏置集合）的性能不如。

Nov, 2022

von Mises-Fisher 损失：探索嵌入式几何模型用于监督式学习

研究了 embedding geometry 对 softmax losses 在分类和图像检索任务中的影响，并提出了一个基于 von Mises-Fisher 分布的概率分类器，在产生改进的 out-of-the-box 校准的同时，与现有技术方法相比具有竞争力。

Mar, 2021

基于多类 Fisher 一致性损失的新型多类别提升算法

本文探讨了利用边缘向量的平滑凸损失函数在多类分类问题中的 Fisher 一致性条件，并利用这一条件导出了两种新的多类别提升算法，使用指数和逻辑回归损失函数。

Jan, 2009

具有通用损失函数的在线非参数回归

本文研究任意函数类和一般损失的在线回归问题，并确定了最小极大率。结果表明，当函数类的复杂度低于某一阈值时，最小极大率取决于损失函数的曲率和序列复杂度。而当复杂度高于该阈值时，损失的曲率不再影响率。此外，对于平方损失，当顺序和独立同分布的经验熵匹配时，统计和在线学习的速率相同。我们还提供了一种通用的预测器，它具有确定的最优率，并提供了一种设计在线预测算法的方法，用于某些问题可以是计算量有效的。

Jan, 2015