基于概率单纯形上的统计建模实现的精确保持校准

Feb, 2024

Accuracy-Preserving Calibration via Statistical Modeling on Probability Simplex

Yasushi Esaki, Akihiro Nakamura, Keisuke Kawano, Ryoko Tokuhisa, Takuro Kutsuna

TL;DR基于深度神经网络 (DNNs) 的分类模型必须进行校准来评估预测的可靠性。我们提出了一种使用概率模型对概率单纯形进行校准的方法，该方法可以保留预训练模型的准确性，并在准确性保持校准任务中胜过先前的方法。

Abstract

classification models based on deep neural networks (DNNs) must be calibrated to measure the reliability of predictions. Some recent calibration

发现论文，激发创造

本文研究了温度调节对自适应条件覆盖度提高的置信翻译方法的影响，并通过实证研究和理论分析揭示了一些数学特性，为此现象提供了解释。

Feb, 2024

本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法，并发现正则化方法在概率校准和锐度之间提供有利的权衡，而修正方法具有更好的概率校准。同时，我们还展示了分位数校准可以被视为一种特定的修正方法，并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。

Jun, 2023

通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

May, 2022

使用条件核平均嵌入测量标定差异，以提高机器学习模型的不确定性量化，并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力，并计划用于更复杂的应用。

May, 2024

本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

Jun, 2023

提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

Jun, 2019

本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

Jul, 2021

深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

Jun, 2017

本文研究了神经网络模型的预测不确定性及其校准问题，并发现不使用卷积层的最新模型的校准性能最好，模型大小和预训练量并不能完全解释这些差异，表明模型架构是影响校准性能的主要因素。

Jun, 2021

我们提出了一种基于多类对齐预测均值置信度和预测确定度（MACC）的新的训练时校准方法，通过鼓励模型在预 softmax 分布中提供低（或高）扩散，从而达到了领域内和领域外预测的最先进校准性能。

Sep, 2023