May, 2023

优化合适的损失函数何时会产生校准效果？

PDF
TL;DR本研究通过提出一种局部最优条件，替换全局最优性来回答在受限的预测器族中优化适当的损失函数是否会产生校准模型及其准确的校准保证。通过表明具有此局部最优性的任何预测器都满足平滑校准，此研究也对解释为什么深度神经网络仅通过适当的损失函数最小化就能校准提供了一个合理的解释。
loss functionsmachine learningcalibrationdnnslocal optimality
发现论文，激发创造
  • 大型神经网络多校准性能通过损失最小化实现

    本文研究了神经网络的表征方面，揭示使用最小化平方误差可以达到多重校准目标，从而提高了公平性。

    Apr, 2023

  • 多分类校准函数

    简化针对多分类替代损失计算校准函数的过程，提出了一种流线化分析方法，以得到利于非参数设置的紧凑且精确的校准函数，而无需为每种新的替代损失重新推导。

    Sep, 2016

  • 适当校准误差的一致且渐近无偏估计

    提出了一种方法，可以一致且渐近无偏地估计所有适当的校准误差和改进术语，并验证了所提估计器的所述特性，并建议后续校准方法的选择应由所关注的特定校准误差决定。

    Dec, 2023

  • 关于带有校准凸代理损失的结构化预测理论

    本文提出一种新颖的理论框架，利用凸代理损失函数最小化，探讨结构化预测的相关问题，并提供一些保证与监测措施，同时说明了某些任务损失导致学习难度增加，因此普适性最强的 0-1 损失函数并不适用于一般化的结构化预测。

    Mar, 2017

  • 通过提高预测正确性意识来优化校准

    模型校准的新后续校准目标函数通过使用样本的转换版本来减少模型对错误预测样本的置信度并增加对正确预测样本的置信度，从而与现有技术在校准性能上达到相当竞争水平。

    Apr, 2024

  • 不需集中注意力的普遍损失函数学习

    研究使用经验风险最小化解决预测和估计问题，针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下，例如在重尾场景中，我们也可以获得尖锐的误差率。我们的结果表明，误差率取决于两个参数：一个捕捉类别的内在复杂性，以实质上在无噪声（或可实现）问题中导致误差率；另一个衡量类成员之间的交互、目标和损失，并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。

    Oct, 2014

  • 多类别 U 校准误差的最优解与进一步

    在线多类别 U 校准问题：解决了 Kleinberg 等人提出的开放问题，证明理想的 U 校准误差是 Θ(√KT)，并在损失函数的自然假设下加强了结果，包括利普希茨损失函数的 Θ(log T) U 校准误差，可分解损失函数的 O (log T) U 校准误差，具有低覆盖数的损失函数的 U 校准误差界等。

    May, 2024

  • 超越校准：估算现代神经网络的分组损失

    本文研究了分类器给出可靠置信度分数的能力，在分组损失的影响下，提出了适用于标准设置下的分组损失估计器，利用该估计器证明了现代神经网络在计算机视觉和自然语言处理中存在分组损失

    Oct, 2022

  • 几何视角下的焦点损失：降低曲率以增强模型校准

    机器学习算法在决策情境中的关键因素不仅是模型的准确性，还包括模型的置信水平。然而，模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释，以理解焦损失的行为。我们的分析表明，焦损失可以降低训练模型时损失表面的曲率，这表明曲率可能是实现模型校准的关键因素之一。我们设计了数值实验来支持这一推测，揭示了焦损失的行为以及校准性能与曲率之间的关系。

    May, 2024

  • 神经网络的软校准目标

    为了更好地进行决策，神经网络的不确定性需要和其经验准确性相一致。本研究提出基于连续的分组操作的可微损失函数用于改善神经网络的校准。实验结果表明使用此方法不仅能大幅度降低误差校准误差，还能在保持准确性不变的同时，得到更好的不确定性估计。

    Jul, 2021