Feb, 2014

一种混合损失函数用于多类别和结构预测

PDF
TL;DR本文提出了一种新的混合损失函数，结合了条件随机场的对数损失和支持向量机的多类间隔损失，从而解决多类别和结构化预测问题。我们提供了一个足够的条件，标签之间的优势度量，指出混合损失函数在分类问题中是 Fisher 一致的。我们还通过实验表明，该混合损失函数通常在各种任务中的表现都不差或更好，同时也提供了概率和边缘方法在多类别和结构化预测中的实证比较。
发现论文，激发创造
  • 铰链损失马尔可夫随机场：结构化预测的凸推理

    本文介绍了使用 hinge-loss Markov 随机场图模型进行结构化预测的方法，包括适用于 HL-MRFs 的可扩展的推理算法和几种学习算法，并证明了该方法在四个应用领域中能够与离散模型相媲美或更好的预测性能。

    Sep, 2013

  • 通过锥优化的鲁棒支持向量机

    使用混合整数优化技术得出一种新的损失函数，使之比现有方案更好地逼近 0-1 损失函数，同时保持学习问题的凸性，具有与标准支持向量机相竞争的性能，且在存在异常值时表现更好。

    Feb, 2024

  • 概率条件随机场的损失敏感训练

    讨论了训练概率条件随机场中最大似然以外的代价函数，该方法以对比排序为基准的实验验证了将代价函数信息纳入到概率训练中的重要性，其中代价启发 KL 目标函数的表现最优。

    Jul, 2011

  • 基于多类 Fisher 一致性损失的新型多类别提升算法

    本文探讨了利用边缘向量的平滑凸损失函数在多类分类问题中的 Fisher 一致性条件，并利用这一条件导出了两种新的多类别提升算法，使用指数和逻辑回归损失函数。

    Jan, 2009

  • 混合卷积神经网络 - 条件随机场模型端到端训练用于立体视觉

    该研究提出了一种基于深度卷积神经网络和条件随机场的混合模型，通过 CRR 和 CNN 的结合，实现了在大规模数据的训练过程中对相似性进行估计和稀疏性先验的建模，并在 Middlebury 2014 和 Kitti 2015 等数据集上验证了该方法的有效性。

    Nov, 2016

  • 关于带有校准凸代理损失的结构化预测理论

    本文提出一种新颖的理论框架，利用凸代理损失函数最小化，探讨结构化预测的相关问题，并提供一些保证与监测措施，同时说明了某些任务损失导致学习难度增加，因此普适性最强的 0-1 损失函数并不适用于一般化的结构化预测。

    Mar, 2017

  • 基于新型损失函数的二分类支持向量机

    我们提出了一种基于置信边界的滑动损失函数来构建支持向量机分类器，通过引入近似稳定点的概念和利用利普希茨连续性的性质，我们为滑动支持向量机推导了一阶最优性条件，并定义了滑动支持向量和滑动工作集。为了高效处理滑动支持向量机，我们设计了一种带有滑动工作集的快速交替方向乘子方法，并提供了收敛性分析。在真实世界数据集上的数值实验证实了该方法的鲁棒性和有效性。

    Mar, 2024

  • 铰链损失马尔可夫随机场和概率软逻辑

    本文介绍了两种新的模拟结构化数据的形式，并证明它们可以捕捉到丰富的结构并可扩展到大规模数据。第一种形式是铰接损失马尔可夫随机场（HL-MRFs），是一种新的概率图模型，可以推广凸轮廓推断的不同方法。第二种新形式是概率软逻辑（PSL），是一种基于一阶逻辑的概率编程语言，使 HL-MRFs 易于定义。这些算法使 HL-MRFs 和 PSL 能够可扩展地模拟以前无法达到的大规模丰富结构数据。

    May, 2015

  • von Mises-Fisher 损失：探索嵌入式几何模型用于监督式学习

    研究了 embedding geometry 对 softmax losses 在分类和图像检索任务中的影响，并提出了一个基于 von Mises-Fisher 分布的概率分类器，在产生改进的 out-of-the-box 校准的同时，与现有技术方法相比具有竞争力。

    Mar, 2021

  • 利用 Fenchel-Young 损失和改进的替代遗憾实现的在线结构化预测与在线多类别分类与逻辑损失

    该研究在在线结构预测中应用了 Fenchel-Young loss 以及随机解码方法，并通过引入利用替代差距框架获得了有限的代价后悔界限，对多类别分类问题中的在线多类别分类进行了改进，得到了精确度以域直径的对数因子优化的有限代价后悔界限。

    Feb, 2024