现代神经网络的校准
本文研究了神经网络模型的预测不确定性及其校准问题,并发现不使用卷积层的最新模型的校准性能最好,模型大小和预训练量并不能完全解释这些差异,表明模型架构是影响校准性能的主要因素。
Jun, 2021
该论文研究了神经网络中置信度校准的问题,并提供了校准方法的经验比较,分析了可视化和标量测量评估模型置信度校准的不同方法,并对基于后处理或对训练进行更改的现代校准技术进行了评估,实验结果覆盖了各种数据集和模型,比较了不同标准下的校准方法。
Mar, 2023
本文研究了深度神经网络模型校准方面的现有问题,并发现这类模型存在大量 “几乎确定” 置信度,导致常常过于自信。同时,文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。
Jun, 2023
在医学图像分析领域,确保高准确性不仅是重要的,确保有良好校准的预测也至关重要。通过提供模型的确定性洞察,识别需要关注的情况并建立对其预测的信任,深度神经网络的置信度在可解释性方面起关键作用。我们进行了一项全面的实证研究,探索了不同训练方式下模型的性能和校准。研究揭示了权重分布和学习表示的相似性等因素与模型校准趋势的相关性,并强调将自监督学习方法融入医学图像分析中以改善性能和校准的优势。
Sep, 2023
本文提出了一种新的校准方法,旨在提高神经网络在医学领域图像分类任务中的不确定性量化能力,该方法基于期望校准误差作为量化神经网络不确定性的公共度量,可以作为辅助损失项轻松地集成到任何分类任务中,从而显著降低分类误差。
Sep, 2020
我们提出了一种原生的多类别校准方法,适用于来自任何模型类的分类器,来源于狄利克雷分布并推广了来自二元分类的贝塔校准方法。“通过实验,证明改进了概率预测。
Oct, 2019
本文探讨了机器学习分类器中出现的过度置信和欠置信问题,介绍了衡量分类器置信度的度量标准 —— 准确率校准度,以及该度量标准不足的缺点;进而进行了一项全面的实证研究,并开源了一种度量方法的库。实证研究发现,不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。
Apr, 2019
本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法,并发现正则化方法在概率校准和锐度之间提供有利的权衡,而修正方法具有更好的概率校准。同时,我们还展示了分位数校准可以被视为一种特定的修正方法,并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。
Jun, 2023