多头多损失模型校准

Mar, 2023

Multi-Head Multi-Loss Model Calibration

Adrian Galdran, Johan Verjans, Gustavo Carneiro, Miguel A. González Ballester

TL;DR提高机器学习模型的预测准确性和可靠性，本文提出了一种简化深度集成模型的方法，通过不同的误差计算方法来训练多个线性分类器，达到与成本高昂的深度集成模型相同的校准能力和良好的分类性能，适用于组织病理图像和内镜图像的分类应用。

Abstract

Delivering meaningful uncertainty estimates is essential for a successful deployment of machine learning models in the clinical practice. A central aspect of uncertainty quantification is the ability of a model t

uncertainty quantification machine learning model calibration deep neural networks image classification

发现论文，激发创造

不确定性量化和深度集成

本文研究了在数据稀缺的情况下使用深度学习时，数据增强、集成学习和后处理校准方法之间的相互作用，并表明深度集成不一定会导致改进校准性能，必须进行微调后的后处理才能有效地降低标准深度集成中的预期校准误差。

Jul, 2020

网络校准的置信度和确定性的多类别对齐

我们提出了一种基于多类对齐预测均值置信度和预测确定度（MACC）的新的训练时校准方法，通过鼓励模型在预 softmax 分布中提供低（或高）扩散，从而达到了领域内和领域外预测的最先进校准性能。

Sep, 2023

医学成像分类神经网络的改进可训练校准方法

本文提出了一种新的校准方法，旨在提高神经网络在医学领域图像分类任务中的不确定性量化能力，该方法基于期望校准误差作为量化神经网络不确定性的公共度量，可以作为辅助损失项轻松地集成到任何分类任务中，从而显著降低分类误差。

Sep, 2020

多样化合奏提高校准度

本文探讨了在深度神经网络中使用集成学习以及数据增强等技术，以提高 CIFAR10 和 CIFAR100 基准数据集的准确率和校准度。

Jul, 2020

深度集合中的多样性正则化

为了提高深度神经网络在可靠的不确定性估计任务中的置信度校准性，本文提出了一种具有多样性函数正则化的深度集成训练策略，可以在维持相似预测准确度的情况下改善置信度校准性。

Feb, 2018

深度学习中的一致置信现象及其对校准的影响

本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

Jun, 2023

神经网络的软校准目标

为了更好地进行决策，神经网络的不确定性需要和其经验准确性相一致。本研究提出基于连续的分组操作的可微损失函数用于改善神经网络的校准。实验结果表明使用此方法不仅能大幅度降低误差校准误差，还能在保持准确性不变的同时，得到更好的不确定性估计。

Jul, 2021

利用 Focal Loss 对深度神经网络进行校准

本文研究神经网络中误差校准问题，并提出了使用 Focal Loss 和温度缩放的方法，通过自动调整超参数来实现良好的校准，同时在多个计算机视觉和自然语言处理数据集上进行广泛的实验，证明了该方法可以在不损失准确率的情况下获得实现真正校准预测的最新性能。

Feb, 2020

深度神经网络在医学图像分类中的校准理解

在医学图像分析领域，确保高准确性不仅是重要的，确保有良好校准的预测也至关重要。通过提供模型的确定性洞察，识别需要关注的情况并建立对其预测的信任，深度神经网络的置信度在可解释性方面起关键作用。我们进行了一项全面的实证研究，探索了不同训练方式下模型的性能和校准。研究揭示了权重分布和学习表示的相似性等因素与模型校准趋势的相关性，并强调将自监督学习方法融入医学图像分析中以改善性能和校准的优势。

Sep, 2023

元校准：使用可微分的期望校准误差学习模型校准

提出一种新颖的框架，其中引入了可微替代预期校准误差 (DECE)，以直接优化校准质量，并采用 DECE 进行元学习框架，实现了对模型超参数的验证集校准优化。该框架在解决模型校准方面具有开创性，并在与业界最新校准方法的对比实验中取得了竞争力的表现。

Jun, 2021