使用 Fitzpatrick Losses 学习
本文介绍了一种用于构建基于正则化预测函数的凸损失函数的泛化方法 ——Fenchel-Young 损失,并深入研究了其性质,包括与稀疏性、广义熵和分离边界之间的新联系,从而揭示了许多著名损失函数的统一性并方便地创建新的损失函数。此外,本文还推导了有效的预测和训练算法,使得 Fenchel-Young 损失在理论和实践上都非常有吸引力。
Jan, 2019
本文研究了一种通用的凸损失函数构造方式:Fenchel-Young losses,分析了它们的特性,并表明这种构造方式统一了许多著名的损失函数,并能轻松创建有用的新函数;Fenchel-Young losses 来源于广义熵的特性,包括 Shannon 和 Tsallis 熵,能产生预测概率分布;我们提出了广义熵产生具有分离间隔和稀疏支持概率分布的损失的条件,并得出了有效的算法,使 Fenchel-Young losses 在理论和实践中都具有吸引力。
May, 2018
该研究在在线结构预测中应用了 Fenchel-Young loss 以及随机解码方法,并通过引入利用替代差距框架获得了有限的代价后悔界限,对多类别分类问题中的在线多类别分类进行了改进,得到了精确度以域直径的对数因子优化的有限代价后悔界限。
Feb, 2024
研究了 embedding geometry 对 softmax losses 在分类和图像检索任务中的影响,并提出了一个基于 von Mises-Fisher 分布的概率分类器,在产生改进的 out-of-the-box 校准的同时,与现有技术方法相比具有竞争力。
Mar, 2021
本文探讨了利用边缘向量的平滑凸损失函数在多类分类问题中的 Fisher 一致性条件,并利用这一条件导出了两种新的多类别提升算法,使用指数和逻辑回归损失函数。
Jan, 2009
本文提供了强凸性和 Lipschitz 连续梯度之间的 Fenchel 对偶性的简单证明,并通过建立等价条件,识别了几个更一般的条件。
Mar, 2018
本文提出了一种针对非可分离损失函数的在线学习框架,通过引入新型算法设计和分析,该模型具有高效的在线学习算法,具有亚线性遗憾和在线转换界限;进一步开发了可扩展的随机梯度下降求解器,经过实验在真实数据集上证明,该方法比近期提出的切割面算法快得多。
Oct, 2014