基于不确定性估计的聚焦式回归模型无关解释

Nov, 2023

基于不确定性估计的聚焦式回归模型无关解释

Model Agnostic Explainable Selective Regression via Uncertainty Estimation

Andrea Pugnana, Carlos Mougan, Dan Saattrup Nielsen

TL;DR该研究提出了一种利用模型非参数不确定性估计的选择性回归方法，通过全面的基准测试在 69 个数据集上展示了该框架优于现有选择性回归方法的性能，并使用可解释的人工智能技术对选择性回归的动因进行了理解。

Abstract

With the wide adoption of machine learning techniques, requirements have evolved beyond sheer high performance, often requiring models to be trustworthy. A common approach to increase the trustworthiness of such

machine learning trustworthy selective prediction regression uncertainty estimation

发现论文，激发创造

合规化选择回归

通过利用针对模型特定偏差提供基于置信度的个体预测的坚实的置信度度量，我们提出了一种新的选择回归方法，并提出了一个标准化的评估框架，通过广泛的实验方法证明了我们的方法在多个最先进的基准测试中的优势。

Feb, 2024

深度神经网络选择性分类基准测试

通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。

Jan, 2024

通过测试的选择非参数回归

针对误差关键的机器学习应用中存在的可能放弃预测（或选择性预测）的问题，本研究在非参数异方差回归问题上提出了一种通过对给定点上的条件方差值进行假设检验的放弃过程。与已有方法不同，提出的方法不仅考虑方差本身的值，还考虑相应方差预测器的不确定性。我们对得出的估计器的风险证明了非渐进界限，并展示了多个不同的收敛模式。理论分析通过一系列的模拟和真实世界数据实验进行了说明。

Sep, 2023

统计无偏回归：一种用于验证回归模型的机器学习方法

介绍了一种名为统计不可知回归（SAR）的方法，用于评估基于机器学习的线性回归的统计显著性，通过使用最坏情况分析的实际风险集中不等式。

Feb, 2024

训练知道自己不知道什么的私有模型

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023

523 个 Imagenet 分类器的选择性预测和不确定性估计性能有什么可学之处

本文考察 523 个现有的深度图像分类器在选择性预测和不确定性估计性能方面的表现，发现蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力，ViT 模型在不确定性估计方面的表现超过其他模型。

Feb, 2023

机器学习中的不确定性估计

本文研究基于统计学习理论的机器学习方法中的不确定性问题，并深入探讨了在回归分析中评估模型系数和输出特征值预测中的不确定度。另外，针对机器学习中的模型复杂度和严重非线性等问题提出解决方案，并指出决策制定时需要对机器学习模型和预测进行不确定性评估、风险评估的需求，并提供使用非参数技术解决不确定性问题的方法及最新的超级计算机设备供进行高强度计算。

Jun, 2022

可解释的信用风险选择性学习

本研究是关于解决传统的 logistic 回归模型的精度和可解释性问题，引入了一种具有可解释性的选择性神经网络模型，主要应用于信贷风险评估领域，同时本文也在研究中比较了各种模型的优劣，得出结论，浅层神经网络能更好地提升精度而不显著牺牲解释性。

Sep, 2022

哪些模型天生就擅长不确定性估计？

探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

Jun, 2022

一致性预测的选择性集成

通过引入选择性集合来减轻模型的不一致性，使用随机选定的起始条件训练一组模型的预测上执行假设检验；在这些情况下，选择性集合可以放弃不一致预测结果并在指定的置信水平下达成一致结果，多个基准数据集上展示出零一致性预测点和低至 1.5％的放弃率。

Nov, 2021