本文提出了使用最大平均偏差最小化核嵌入度量的校准回归方法,证明该方法在样本量足够大时其校准误差渐近收敛于零,实验结果表明该方法能够产生良好校准和尖锐的预测区间,优于相关现有技术。
Jun, 2020
本文针对分类器标定的问题,提出以正确描述其应用背景为目的,开发更准确反映标定误差的更具表达力的度量标准;其中,基于期望标定误差的推广,提出了几种不同的度量标准,分别反映了针对不同的可靠性定义的标定误差;此外,基于这些不同的度量标准,作者对常用的神经网络结构和标定技术进行了广泛的实证评估,发现许多常用的标定技术在这些不同可靠性定义的标定误差上并未有统一的改善.
May, 2022
深度神经网络和大型语言模型在提供准确的不确定性估计方面面临挑战,因此提出一种新的校准概念 —— 完全校准,并引入其相应的度量指标 Full-ECE,用于评估预测概率分布的整体校准性。
Jun, 2024
本文提出了一种新的校准方法,旨在提高神经网络在医学领域图像分类任务中的不确定性量化能力,该方法基于期望校准误差作为量化神经网络不确定性的公共度量,可以作为辅助损失项轻松地集成到任何分类任务中,从而显著降低分类误差。
Sep, 2020
提出一种新颖的框架,其中引入了可微替代预期校准误差 (DECE),以直接优化校准质量,并采用 DECE 进行元学习框架,实现了对模型超参数的验证集校准优化。该框架在解决模型校准方面具有开创性,并在与业界最新校准方法的对比实验中取得了竞争力的表现。
Jun, 2021
本文提出了一种模糊校准误差 (FCE) 度量方式,该方式利用模糊分箱法来计算校准误差,可以更好地在多类设置中估计校准误差和缓解模型置信度分数的偏斜对校准误差估计的影响。
Apr, 2023
使用贝叶斯神经网络进行预测可以直接模拟预测分布,在小数据组和表格数据中表现竞争力,并与校准神经网络进行比较。
Sep, 2022
深入实验和分析,提出了温度缩放法的简单有效性,可以解决现代神经网络中分类器的置信度校准问题。
Jun, 2017
该论文研究了神经网络中置信度校准的问题,并提供了校准方法的经验比较,分析了可视化和标量测量评估模型置信度校准的不同方法,并对基于后处理或对训练进行更改的现代校准技术进行了评估,实验结果覆盖了各种数据集和模型,比较了不同标准下的校准方法。
Mar, 2023
本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法,并发现正则化方法在概率校准和锐度之间提供有利的权衡,而修正方法具有更好的概率校准。同时,我们还展示了分位数校准可以被视为一种特定的修正方法,并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。
Jun, 2023