预测不确定性的模型无关变量重要性：一种基于熵的方法

Oct, 2023

预测不确定性的模型无关变量重要性：一种基于熵的方法

Model-agnostic variable importance for predictive uncertainty: an entropy-based approach

Danny Wood, Theodore Papamarkou, Matt Benatan, Richard Allmendinger

TL;DR这篇论文介绍了如何将解释性方法扩展到具有不确定性意识的模型中，并演示了如何通过这些方法深入理解模型行为、特征对预测分布熵和真实标签对数似然的影响，以及不确定性来源对模型性能的影响。

Abstract

In order to trust the predictions of a machine learning algorithm, it is necessary to understand the factors that contribute to those predictions. In the case of probabilistic and uncertainty-aware models, it is

machine learning algorithm uncertainty-aware models explainability predictive distribution model behavior

发现论文，激发创造

引入一种改良的信息论预测不确定性度量

应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见，揭示当前预测不确定性度量的局限性，并引入了一种理论上可靠的度量方法来克服这些局限。实验证明，我们引入的度量方法在控制的合成任务中表现得更加合理，并且在利用预测不确定性的实际应用中具有优势。

Nov, 2023

使用信息理论 Shapley 值解释预测不确定性

本文提出一种将 Shapley 值框架用于解释各种预测不确定性的方法，旨在通过量化每个特征对个体模型输出的条件熵的贡献来解释模型输出的不确定度；该方法具有用于协变量转移检测、主动学习、特征选择和主动特征值获取的应用。

Jun, 2023

通用框架：关于对算法无关变量重要性的推断

本文提出了关于变量重要性的非参数推断的一般框架，定义了变量重要性作为所有可用特征与除考虑特征外的所有特征之间的神谕可预测性的总体对比，并提出了有效的估计程序和策略。

Apr, 2020

机器学习解释中的不确定性传达：用可视化分析方法进行预测过程监控

本研究探讨了如何在可靠和透明的决策机制中集成不确定性量化和模型可解释性方法，以促进可信的业务和运营过程分析。研究了如何在全局和本地后验解释方法中有效地传达模型不确定性，并检查了适当的可视化分析方法以促进方法论的集成。所提出的方法和界面也得到了专家的反馈。

Apr, 2023

通过条件熵估计进行回归问题的可预测性分析

传统的回归问题中，模型准确性一直以来是一个模糊的问题，本研究引入条件熵估计器来评估回归问题中的可预测性，尤其是 KNIFE-P 估计器和 LMC-P 估计器，在合成和真实数据集上的广泛实验表明了它们的鲁棒性和实用性，为回归模型的开发提供了有价值的工具。

Jun, 2024

估算和解释分类器不确定性的元启发式方法

针对机器学习模型影响采纳的关键因素之一 —— 信任，本研究提出了一组特征量，可以表征一个实例的复杂程度，并借助元学习框架评估误分类的风险。该框架在提高模型开发的复杂性方面具有潜在的应用前景，同时提供新的模型自我阻抗和解释手段。

Apr, 2023

无限制置换强制外推：变量重要性需要至少一个更多的模型，或者不存在自由变量重要性

本文研究回顾并反对使用 Permuate-and-predict 方法来解释黑盒函数，特别是在特征之间存在强依赖性时，常用的变量重要性度量、局部依赖图和个体条件期望图具有误导性，我们提出了使用额外建模来替代这些指标的建议，并描述了如何在保持数据特征独立性的情况下测量模型性能变化。

May, 2019

一种简单有效的基于模型的变量重要性度量方法

本文提出了一种标准化的、基于模型的方法来测量监督学习算法中预测器的重要性，该方法适用于各种现代算法，如随机森林、梯度提升决策树等。

May, 2018

文件分类中的不确定性缓解

本篇论文提出了一种基于神经网络和新型 dropout - 熵测量方法的模型以及基于特征表示的度量学习方法，可以更精确地预测，提高分类器的预测准确性，尤其在医学诊断等需要确定不确定预测的领域有广泛的应用。

Jul, 2019

对于对抗样本检测中不确定度度量的理解

研究不同类型的不确定性测量方法及其在检测对抗性例子中的应用，揭示了 MC dropout 方法的不足，提出了利用概率模型集成来提高不确定性估计质量的建议。实验证明不同不确定性测量方法在 MNIST 和狗猫分类数据集上的不同效果。

Mar, 2018