使用高斯过程模型检测神经网络中的分类错误

AAAIOct, 2020

使用高斯过程模型检测神经网络中的分类错误

Detecting Misclassification Errors in Neural Networks with a Gaussian Process Model

Xin Qiu, Risto Miikkulainen

TL;DR本文提出了一种基于高斯过程的新框架 RED，以产生一种可靠的误分类错误检测度量，从而改善神经网络分类器的可靠性和可拓展性。该方法的有效性在 125 个 UCI 数据集、两个概率基分类器和两个大型深度学习结构的视觉任务中得到了证实，并能够检测错误并理解其来源。

Abstract

As neural network classifiers are deployed in real-world applications, it is crucial that their failures can be detected reliably. One practical solution is to assign confidence scores to each prediction, then use these scores to filter out possible misclassifications. However, existin

neural network classifiers confidence metric misclassification errors error detection gaussian processes

发现论文，激发创造

用于分类的非参数校准

提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

Jun, 2019

重新审视置信度估计：朝向可靠的故障预测

过去的研究表明，置信度评估方法往往会对错误的预测产生不利影响，本研究提出了一种新的置信度评估方法，通过寻找平坦极小值来扩大置信度差距，从而实现在多种分类场景下的失败预测性能的持续改进。

Mar, 2024

基于狄利克雷过程的大规模校准分类高斯过程

本文讨论了利用 Dirichlet 分布将 Gaussian 过程回归直接应用于分类标签从而在保证精确性的前提下减少计算开销的新方法。实验证明该方法在减少计算资源消耗的同时也可以提供与 Gaussian 过程分类相当的准确性和不确定性估计。

May, 2018

通过神经网络高斯过程提高深度学习输出不确定性估计和泛化能力

提出一种简单的方法，将神经网络和高斯过程相结合，以更好地估计输出的不确定性和提高模型的泛化性能，并且采用随机变分推断算法和随机梯度下降法进行模型优化。实验结果表明，该方法在两个时空数据集上均表现出优异的性能。

Jul, 2017

可证明鲁棒性的无需付出昂贵代价的异常检测

研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

深度学习不确定性估计的通用框架

提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

Jul, 2019

基于置信度估计的不确定性感知狄利克雷网络故障预测

本研究介绍了基于不确定性的深度狄利克雷神经网络可靠地评估模型置信度和预测错误，提出新的准则基于置信度分数匹配来学习正确预测和失败的真实类别概率，并在多个图像分类任务上取得了优于传统网络最大类概率的预测真实类别概率的实验结果。

Oct, 2020

一种简单的统一框架用于检测样本的离群点和对抗攻击

本文提出了一种简单而有效的方法，可用于检测任何异常样本，适用于任何预训练的 softmax 神经分类器，在高鲁棒性方面表现优越，同时在检测离群样本和对抗样本方面都取得了最先进的性能，在分类增量学习中有着更广泛的应用。

Jul, 2018

神经网络的错误分布检测中学习置信度

通过提出一种简单易实现、产生直观可解释输出的神经网络置信度学习方法，我们成功地实现了对神经网络预测错误的检测以及超出安全执行区域的检测，在该任务中表现优异，并在不需要额外标签或进入区别于正常数据集之外的样本的情况下超过了最近提出的指标构建方法。此外，我们还解决了置信度检测器校准问题，即我们证明被错误分类为正常数据集的正常样本是超出安全执行区域的样本的良好替代品。

Feb, 2018

基于数据驱动的相对不确定度度量方法用于误分类检测

引入了一种针对机器学习中误分检测的新型数据驱动相对不确定性度量方法，通过学习软预测的分布模式，可以根据预测的类别概率识别误分样本，并在多个图像分类任务中表现出超过现有误分检测方法的实证效果。

Jun, 2023