引入一种改良的信息论预测不确定性度量

Nov, 2023

引入一种改良的信息论预测不确定性度量

Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty

Kajetan Schweighofer, Lukas Aichberger, Mykyta Ielanskyi, Sepp Hochreiter

TL;DR应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见，揭示当前预测不确定性度量的局限性，并引入了一种理论上可靠的度量方法来克服这些局限。实验证明，我们引入的度量方法在控制的合成任务中表现得更加合理，并且在利用预测不确定性的实际应用中具有优势。

Abstract

Applying a machine learning model for decision-making in the real world requires to distinguish what the model knows from what it does not. A critical factor in assessing the knowledge of a model is to quantify i

machine learning model decision-making predictive uncertainty entropy bma predictive distribution

发现论文，激发创造

对于对抗样本检测中不确定度度量的理解

研究不同类型的不确定性测量方法及其在检测对抗性例子中的应用，揭示了 MC dropout 方法的不足，提出了利用概率模型集成来提高不确定性估计质量的建议。实验证明不同不确定性测量方法在 MNIST 和狗猫分类数据集上的不同效果。

Mar, 2018

预测不确定性的模型无关变量重要性：一种基于熵的方法

这篇论文介绍了如何将解释性方法扩展到具有不确定性意识的模型中，并演示了如何通过这些方法深入理解模型行为、特征对预测分布熵和真实标签对数似然的影响，以及不确定性来源对模型性能的影响。

Oct, 2023

基于数据驱动的相对不确定度度量方法用于误分类检测

引入了一种针对机器学习中误分检测的新型数据驱动相对不确定性度量方法，通过学习软预测的分布模式，可以根据预测的类别概率识别误分样本，并在多个图像分类任务中表现出超过现有误分检测方法的实证效果。

Jun, 2023

文件分类中的不确定性缓解

本篇论文提出了一种基于神经网络和新型 dropout - 熵测量方法的模型以及基于特征表示的度量学习方法，可以更精确地预测，提高分类器的预测准确性，尤其在医学诊断等需要确定不确定预测的领域有广泛的应用。

Jul, 2019

评估数据集偏移下模型预测不确定性的可信度

以大量分类问题为基础，对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。

Jun, 2019

贝叶斯神经网络推断的不确定性量化质量

本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较，发现常用的指标可能会导致误导，并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。

Jun, 2019

估算和解释分类器不确定性的元启发式方法

针对机器学习模型影响采纳的关键因素之一 —— 信任，本研究提出了一组特征量，可以表征一个实例的复杂程度，并借助元学习框架评估误分类的风险。该框架在提高模型开发的复杂性方面具有潜在的应用前景，同时提供新的模型自我阻抗和解释手段。

Apr, 2023

关于近贝叶斯最优算法的不确定性量化

本文介绍了一种用于解决常用机器学习算法的贝叶斯推断问题的新方法，证明了通过构建一个 martingale 后验分布，可以恢复由任务分布定义的贝叶斯后验。同时提出了一种适用于通用机器学习算法的实用不确定性量化方法，实验证明了该方法的有效性。

Mar, 2024

不确定性中测试数据敏感性的信息论分析

Bayesian inference 中的不确定性推断及其分解方法的研究。首次定义了测试数据和训练数据之间的敏感性，并扩展了 Bayesian meta-learning 的分析。

Jul, 2023

使用狄利克雷元模型进行后验不确定性学习

提出了一种基于贝叶斯元模型的方法，该方法用于增强预训练模型的不确定性量化能力，以实现不同应用场景下的预测性能，例如图像分类中的领域外数据检测、错分检测和可信迁移学习，无需额外的训练数据，从而在多个代表性图像分类基准测试上展示了更好的表现。

Dec, 2022