超越温度缩放：使用狄利克雷校准获得良好校准的多类概率

Oct, 2019

超越温度缩放：使用狄利克雷校准获得良好校准的多类概率

Beyond temperature scaling: Obtaining well-calibrated multiclass probabilities with Dirichlet calibration

Meelis Kull, Miquel Perello-Nieto, Markus Kängsepp, Telmo Silva Filho, Hao Song...

TL;DR我们提出了一种原生的多类别校准方法，适用于来自任何模型类的分类器，来源于狄利克雷分布并推广了来自二元分类的贝塔校准方法。“通过实验，证明改进了概率预测。

Abstract

Class probabilities predicted by most multiclass classifiers are uncalibrated, often tending towards over-confidence. With neural networks, calibration can be improved by temperature scaling, a method to learn a

multiclass classifiers neural network calibration dirichlet distributions uncalibrated model

发现论文，激发创造

现代神经网络的校准

深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

Jun, 2017

深度分类器的校准和符合预测

本文研究了温度调节对自适应条件覆盖度提高的置信翻译方法的影响，并通过实证研究和理论分析揭示了一些数学特性，为此现象提供了解释。

Feb, 2024

基于 bin 的温度缩放（BTS）：通过简单的缩放技术提高置信度校准性能

本研究采用温度缩放方法构建精细的分组缩放以及采用验证样本增强方法，取得了各种深度卷积神经网络模型在多个数据集上的一致且优异的校准表现。

Aug, 2019

基于贝叶斯神经网络的预测不确定性与后验校准对比

使用贝叶斯神经网络进行预测可以直接模拟预测分布，在小数据组和表格数据中表现竞争力，并与校准神经网络进行比较。

Sep, 2022

用于分类的非参数校准

提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

Jun, 2019

预测结果校准：一种新的多类校准方法

本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

Jul, 2021

经过验证的不确定性校准

本篇论文提出一种基于 Platti scaling 和 temperature scaling 的直方图分块校准法，用于计算模型校准误差，并使用气象学中的估算器来更加准确地估计校准误差。作者在多类别校准实验中将缔合法的校准误差降低了 35％。

Sep, 2019

长尾识别的双通道温度缩放校准

该研究论文提出了一种双分支温度缩放校准模型 (Dual-TS)，同时考虑了不同类别的温度参数的多样性和少数类别中稀有样本的温度参数的非通用性，并提出了新的校准评估度量 Esbin-ECE。实验证明，该模型在传统 ECE 和 Esbin-ECE 指标中均达到了最先进水平。

Aug, 2023

面向领域自适应和子群特定的级联温度回归用于外域校准

通过元集合级联温度回归方法，本文提出了一种新颖的事后校准方法，通过对验证集上的数据增强模拟不同领域的转变，为不同的测试集定制细粒度的缩放函数，捕捉多样化的不确定性，并通过回归网络学习得到类别特定和置信度特定的缩放，实现元集合之间的校准。通过在 MNIST、CIFAR-10 和 TinyImageNet 上进行广泛的实验证明了该方法的有效性。

Feb, 2024

神经网络的软校准目标

为了更好地进行决策，神经网络的不确定性需要和其经验准确性相一致。本研究提出基于连续的分组操作的可微损失函数用于改善神经网络的校准。实验结果表明使用此方法不仅能大幅度降低误差校准误差，还能在保持准确性不变的同时，得到更好的不确定性估计。

Jul, 2021