基于狄利克雷分布的含噪标签学习预测校准

Jan, 2024

基于狄利克雷分布的含噪标签学习预测校准

Dirichlet-Based Prediction Calibration for Learning with Noisy Labels

Chen-Chen Zong, Ye-Wen Wang, Ming-Kun Xie, Sheng-Jun Huang

TL;DR本研究提出了一种基于 Dirichlet 分布的预测校准方法（DPC），通过引入一个合适的常数来打破 softmax 函数的平移不变性，从而实现更可靠的模型预测，并通过引入一种新的证据深度学习（EDL）损失函数来确保稳定的模型训练。通过在各种基准数据集上进行大量实验，证明了 DPC 取得了最先进的性能。

Abstract

Learning with noisy labels can significantly hinder the generalization performance of deep neural networks (DNNs). Existing approaches address this issue through loss correction or example selection methods. Howe

noisy labels deep neural networks softmax function dirichlet-based prediction calibration evidence deep learning

发现论文，激发创造

深度分类器的校准和符合预测

本文研究了温度调节对自适应条件覆盖度提高的置信翻译方法的影响，并通过实证研究和理论分析揭示了一些数学特性，为此现象提供了解释。

Feb, 2024

超越温度缩放：使用狄利克雷校准获得良好校准的多类概率

我们提出了一种原生的多类别校准方法，适用于来自任何模型类的分类器，来源于狄利克雷分布并推广了来自二元分类的贝塔校准方法。“通过实验，证明改进了概率预测。

Oct, 2019

通过生成式模型进行噪声预测校准：从噪声预测到真实标签

该论文提出了一种使用生成模型估计转移矩阵的方法，将预先训练的分类器的嘈杂预测校正为真实标签，从而解决机器学习中嘈杂标签对分类器泛化性能的影响，并且该方法在合成和真实数据集上均提高了所有基线模型的分类性能。

May, 2022

边缘的恶魔：基于边缘的标签平滑方法用于网络校准

本文研究了深度神经网络在预测时存在过度自信的问题，并提出了一种基于不等式约束的优化方法，以达到最佳判别性能和预测校准性能的折中。

Nov, 2021

预测结果校准：一种新的多类校准方法

本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

Jul, 2021

具有贝叶斯深度神经网络的分类快速预测不确定性

本文提出了使用 Dirichlet 近似来构建分类神经网络输出的分布，该近似比先构建权重的 Gaussian 分布再进行采样来得更省时，同时有利于计算不确定性和大规模数据集的应用，例如 ImageNet。

Mar, 2020

基于置信度估计的不确定性感知狄利克雷网络故障预测

本研究介绍了基于不确定性的深度狄利克雷神经网络可靠地评估模型置信度和预测错误，提出新的准则基于置信度分数匹配来学习正确预测和失败的真实类别概率，并在多个图像分类任务上取得了优于传统网络最大类概率的预测真实类别概率的实验结果。

Oct, 2020

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

类自适应网络校准

提出了一种类别自适应标签平滑方法（CALS），在训练过程中允许学习班级特定的乘数，通过在大规模的自适应训练中引入几种修改以量身定制它，以校准深度神经网络，综合评估和多重比较展示了所提出方法的优越性

Nov, 2022

后验概率的重要性：在线广告神经预测的双适应校准

通过 AdaCalib 模型的双重适应方法，我们可以根据后验统计信息学习保序函数族，进行精细校准，并确保后验概率适合于校准的场值。实验证明，AdaCalib 在校准性能上获得了显著的提高，可在线部署并超越先前的方法。

May, 2022