Oct, 2023

通过可袭近性实现在线预测器的快速再校准

PDF
TL;DRML 预测模型需要是可靠的和值得信赖的，这通常意味着它们需要输出校准后的概率。本文介绍了一种使用布莱克韦尔可达定理的技术，将可能不具备校准性的在线预测模型转变为校准的预测模型，而原始模型的损失不会显著增加。我们提出的算法在在线环境中实现了比现有技术（arXiv:1607.03594）更快的校准和准确性，并且是第一个在在线环境中提供校准误差和准确性灵活权衡的算法。通过使用我们的技术来描述可同时实现校准和后悔的空间，我们证明了这一点。
发现论文，激发创造
  • 可接近性、遗憾和校准；意义和等效性

    探讨三个标准（Blackwell 可达性，遗憾最小化和校准）如何在不同的顺序决策问题或玩家与自然之间的重复游戏中评估策略，并将其应用于展现一种新的直观算法类，基于简单的几何特性。

    Jan, 2013

  • 带或不带有效性保证的大规模概率预测器

    本文从理论和实践出发，研究了一种将机器学习算法转化成概率预测器的方法，并保证其有效性和计算效率；理论上完全校准的概率预测器产生不精确的概率，但合并后的精确概率预测器相较于现有方法表现更准确。

    Nov, 2015

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 用快速对抗校准实现深度神经网络中值得信赖的预测

    为了让实际应用的人工智能系统更加被广泛认知，模型的可信度至关重要。文章提出了一种新的训练策略，结合熵鼓励损失项和对抗校准损失项，以提高样本在领域世界偏移下的校准性和适应性。文章在不同的数据模式、数据集和网络架构上进行了全面的评估，结果显示该方法明显高于现有的最先进方法，应用于领域漂移下预测方面具有技术上的可信度。

    Dec, 2020

  • 黑韦尔可到达性与低遗憾学习是等效的

    本文证明了 Blackwell 可接近性定理在具有向量回报的两人博弈中的等效性，并且提出了计算校准预测的第一个有效算法。

    Nov, 2010

  • 预测性布莱克韦尔可达性加速游戏求解：联接遗憾匹配与镜像下降

    本文提出了预测 Blackwell 可达性算法的概念，基于在线凸优化的后悔最小化算法，得到了针对多次博弈问题的多种算法，并在 18 个经典的零和博弈模型上的实验中取得了优秀的效果。

    Jul, 2020

  • 医疗 AI 校准：朝着可靠且可解释的深度预测模型

    本篇论文提出了一种基于置信度校准的学习方法，能够同时满足模型可靠性和可解释性，通过皮肤镜图像的病变分类问题验证了该方法的有效性，同时还提出了一种全面评估模型可靠性的机制 - Reliability Plots。

    Apr, 2020

  • 走向公正和校准的模型

    在这项研究中，我们提出了一种同时具备公平性和校准性的模型构建方法，通过基于温度缩放的简单后处理技术来实现，同时对现有的校准损失函数进行修改以进行组内校准，从而在多种场景下实现公平和校准的模型。

    Oct, 2023

  • 后验概率的重要性：在线广告神经预测的双适应校准

    通过 AdaCalib 模型的双重适应方法，我们可以根据后验统计信息学习保序函数族，进行精细校准，并确保后验概率适合于校准的场值。实验证明，AdaCalib 在校准性能上获得了显著的提高，可在线部署并超越先前的方法。

    May, 2022

  • 甲骨文高效在线多校准与全球预测

    我们提出了一种新的在线多校准算法，适用于无限的基准类 $F$，并且是基于预言机的高效算法，可同时为所有 Lipschitz 凸损失函数提供无悔承诺。

    Jul, 2023