神经网络的软校准目标

Jul, 2021

Soft Calibration Objectives for Neural Networks

Archit Karandikar, Nicholas Cain, Dustin Tran, Balaji Lakshminarayanan, Jonathon Shlens...

TL;DR为了更好地进行决策，神经网络的不确定性需要和其经验准确性相一致。本研究提出基于连续的分组操作的可微损失函数用于改善神经网络的校准。实验结果表明使用此方法不仅能大幅度降低误差校准误差，还能在保持准确性不变的同时，得到更好的不确定性估计。

Abstract

optimal decision making requires that classifiers produce uncertainty estimates consistent with their empirical accuracy. However, deep neural networks are often under- or over-confident in their predictions. Consequently, methods have been developed to improve the →

optimal decision making uncertainty estimates calibration deep neural networks binning operation

发现论文，激发创造

通过提高预测正确性意识来优化校准

模型校准的新后续校准目标函数通过使用样本的转换版本来减少模型对错误预测样本的置信度并增加对正确预测样本的置信度，从而与现有技术在校准性能上达到相当竞争水平。

Apr, 2024

使用模糊分箱进行校准误差估计

本文提出了一种模糊校准误差 (FCE) 度量方式，该方式利用模糊分箱法来计算校准误差，可以更好地在多类设置中估计校准误差和缓解模型置信度分数的偏斜对校准误差估计的影响。

Apr, 2023

元校准：使用可微分的期望校准误差学习模型校准

提出一种新颖的框架，其中引入了可微替代预期校准误差 (DECE)，以直接优化校准质量，并采用 DECE 进行元学习框架，实现了对模型超参数的验证集校准优化。该框架在解决模型校准方面具有开创性，并在与业界最新校准方法的对比实验中取得了竞争力的表现。

Jun, 2021

缓解校准误差估计中的偏差

研究 AI 系统在决策中的可靠性，提出了一种新的校准误差评估方法，并分析了常见神经结构的同类输出，提出基于等质量分组的估计器可以降低偏差，提出两种可靠的校准误差估算器，并观察到重新校准方法的有效性和模型渐进失真检测的提高。

Dec, 2020

类自适应网络校准

提出了一种类别自适应标签平滑方法（CALS），在训练过程中允许学习班级特定的乘数，通过在大规模的自适应训练中引入几种修改以量身定制它，以校准深度神经网络，综合评估和多重比较展示了所提出方法的优越性

Nov, 2022

深度学习中的校准度量

本文探讨了机器学习分类器中出现的过度置信和欠置信问题，介绍了衡量分类器置信度的度量标准 —— 准确率校准度，以及该度量标准不足的缺点；进而进行了一项全面的实证研究，并开源了一种度量方法的库。实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。

Apr, 2019

超越分类：目标检测中校准的定义与基于密度的估计

该研究论文探讨了在深度神经网络中定义和估计检测校准误差的挑战，并提出了一种一致且可微的检测校准误差估计器，利用核密度估计，实验证明该估计器在保持相似检测性能的同时，对竞争的训练时和事后校准方法更为有效。

Dec, 2023

医学成像分类神经网络的改进可训练校准方法

本文提出了一种新的校准方法，旨在提高神经网络在医学领域图像分类任务中的不确定性量化能力，该方法基于期望校准误差作为量化神经网络不确定性的公共度量，可以作为辅助损失项轻松地集成到任何分类任务中，从而显著降低分类误差。

Sep, 2020

现代神经网络的校准

深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

Jun, 2017

关于测量离散概率神经网络的校准

使用条件核平均嵌入测量标定差异，以提高机器学习模型的不确定性量化，并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力，并计划用于更复杂的应用。

May, 2024