使用 Venn-Abers 进行良好校准的概率预测维护

Jun, 2023

使用 Venn-Abers 进行良好校准的概率预测维护

Well-Calibrated Probabilistic Predictive Maintenance using Venn-Abers

Ulf Johansson, Tuwe Löfström, Cecilia Sönströd

TL;DR本文研究了使用 Venn-Abers 预测器进行故障检测的效果，发现其可以很好地解决机器学习中数据不平衡的问题，并且能够产生良好的校准概率区间，改善模型的可信度。同时，将 Venn-Abers 与决策树结合，可以更好地理解模型关系，进而得到更加精确的预测结果。

Abstract

When using machine learning for fault detection, a common problem is the fact that most data sets are very unbalanced, with the minority class (a fault) being the interesting one. In this paper, we investigate th

machine learning fault detection venn-abers predictors calibration decision trees

发现论文，激发创造

Venn-Abers 预测器

本文研究了 Venn 预测法在二元预测问题上的应用，证明了其输出结果的良好校准性，并介绍了一种基于保序回归原理的 Venn-Abers 预测器，通过简化算法提高了计算效率并取得了良好的实验结果。

Oct, 2012

使用 Venn-ABERS 预测器校准自然语言理解模型

本文提出了在少量假设条件下构建多个感知 - ABERS 预测器 (IVAP) 的方法，该方法基于预训练的 Transformers 模型，保证了其预测是良好校准的。我们在多个自然语言理解任务上测试了它们的性能，并展示了这些预测器的预测结果可以在 [0,1] 区间内均匀分布，同时仍保持原模型的预测准确性。

May, 2022

通过神经模型逼近条件覆盖率和校准性

通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

May, 2022

可靠的神经网络概率分类

Venn Prediction 是一种新的机器学习框架，用于产生校准良好的概率预测。本文基于神经网络提出了五种 VP 方法，通过实验评估它们在四个基准数据集上的性能，结果表明它们的输出在校准上表现出了优越性，相比传统的神经网络分类器有了明显的改进。

Dec, 2023

带或不带有效性保证的大规模概率预测器

本文从理论和实践出发，研究了一种将机器学习算法转化成概率预测器的方法，并保证其有效性和计算效率；理论上完全校准的概率预测器产生不精确的概率，但合并后的精确概率预测器相较于现有方法表现更准确。

Nov, 2015

稳健验证：即使分布发生偏移，也能自信地做出预测

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

基于显著性的聚类框架用于识别异常预测

机器学习在生物医学领域的高风险场景中，通过减少错误分类率和识别异常预测的方法，显著提高模型性能，并应用于兽医放射学领域，增强了机器学习分类器在高风险、实际情况下的实用性和可信度。

Nov, 2023

无分布偏差，控制风险的预测集

本文介绍了一种基于黑盒预测器实现集值预测、控制用户指定水平下的未来测试点期望损失大小以及使用 holdout 集来校准优化预测集大小的方法，这种方法能够提供简单、分布自由和严密的误差控制，适用于多个任务，如分类问题、多标记分类、分类问题中带有层次结构的标签、图像分割和蛋白质结构预测，还有拓展探讨。

Jan, 2021

超越分类的校准测试

这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

Oct, 2022

基于回归的机器学习算法的非分布风险评估

机器学习算法在实际应用中发展日益复杂，特别是在医学和工程等高风险应用中使用机器学习技术时，预测模型的失败概率至关重要。我们提出了风险评估任务，并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题，该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质，我们证明了所提方法的近似失败概率是保守的，不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。

Oct, 2023