May, 2018

使用带有线性分类器探测器的白盒元模型进行置信度评分

PDF
TL;DR本文提出了一种基于两个模型范式的深度神经网络置信度评分机制，通过在任务中观察基础模型的成功 / 失败来学习元模型的置信度评分，实验结果表明该方法在过滤任务中优于各种基线，并使用带或不带噪声的 CIFAR-10 和 CIFAR-100 数据集进行了实验研究，讨论了置信度评分在实验和实际应用之间的重要性。
发现论文，激发创造
  • 使用置信度配置优化简单模型

    本文提出一种名为 ProfWeight 的新方法，用于从预训练的深度神经网络向一个较简单的可解释模型或低计算复杂度的浅层网络中传输信息，该方法使用线性探针通过展开的中间表示生成置信度分数，并在训练简单模型时使用这些中间层的置信度分数进行加权。该方法已在 CIFAR-10 和一个真实制造问题中证明了其价值。

    Jul, 2018

  • 基于距离的神经网络分类器置信度

    本文提出了一种基于神经网络中数据嵌入的简单可扩展的可靠置信度评分方法，通过距离损失或对抗训练对得到的嵌入进行处理，比传统置信度评分在分类错误预测、加权分类器集成以及新颖性检测中表现更加优异。

    Sep, 2017

  • 使用线性分类器探测中间层

    通过监测神经网络模型每个层的特征并测量其对分类的适用性，使用线性分类器（即 “探针”）完全独立于模型本身进行训练，这有助于更好地理解中间层的作用和动态，并可用于诊断潜在问题。将此技术应用于 Inception v3 和 Resnet-50 等流行模型，实验证明，特征的线性可分性沿模型深度单调增加。

    Oct, 2016

  • 信任，但请验证：使用自监督探究来提高可信度

    本文介绍了一种新的自我监督探测方法，该方法能够检查和减轻训练模型的过度置信问题，从而提高其可信度。此方法在信任相关任务 (误分类检测、校准和超出分布检测) 中得到了广泛验证和应用。

    Feb, 2023

  • 提高置信度估计的可靠性

    本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

    Oct, 2022

  • 深度加权平均分类器

    本文提出了一种简单的方法，通过从非参数核回归中的一些想法得出训练实例的加权总和来预测标签，并在符合性方法的框架内提出了一种新的非一致性测量法，实验验证了理论预期，证明了在不影响准确性或校准的情况下，提高了透明度、可控的错误率和抵抗域外数据的鲁棒性。

    Nov, 2018

  • 元学习在小样本学习中的置信度

    论文提出了一种用于 few-shot 学习中元学习置信度和距离度量的方法，以提高模型在未见任务上的传导推理性能，并在四个基准数据集上获得了最新的最优结果。

    Feb, 2020

  • 利用密度建模在深度神经网络中进行置信度估计

    本文提出了一种基于密度建模的新型置信度度量方法，用以解决 State-of-the-art Deep Neural Networks 存在的小量对抗噪音引起高置信度预测不正确问题，并验证其在图像失真、随机噪声和对抗噪声等方面具有鲁棒性，相比传统方法 softmax，置信度得分更低。

    Jul, 2017

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 基于神经网络输出层分布的分类置信度估计

    本文提出了一种基于 logit 值分布的神经网络分类模型的不确定性预测和置信水平估计方法，可用于知识提取过程中的预测筛选，并在关系提取、命名实体识别和图像分类等任务中获得显著的提高。

    Oct, 2022