不确定性解释性：神经网络的可信决策

Mar, 2024

不确定性解释性：神经网络的可信决策

Explainability through uncertainty: Trustworthy decision-making with neural networks

Arthur Thuy, Dries F. Benoit

TL;DR机器学习模型中的不确定性是一个关键特征，尤其在神经网络中更为重要，因其倾向于过于自信。本研究提出了一个通用的不确定性框架，将不确定性估计定位为可解释的人工智能技术，并引入分类与拒绝机制以减少错误分类，同时应用于教育数据挖掘中的神经网络案例研究，提高模型在操作研究中决策任务中的可信度与行动性。

Abstract

Uncertainty is a key feature of any machine learning model and is particularly important in neural networks, which tend to be overconfident. This overconfidence is worrying under distribution shifts, where the model performance silently degrades as the data distribution diverges from t

uncertainty estimation overconfident models distribution shifts explainable artificial intelligence actionability component

发现论文，激发创造

我能信任你多少？-- 量化解释神经网络的不确定性

提出了一种新的框架，它可以将任意的深度学习神经网络解释方法转换为基于贝叶斯神经网络的解释方法，并内置建模不确定性的方式来量化解释的不确定性，从而确立与模型解释相关的不确定性，并在各种定量和定性实验中证明了该方法的有效性和实用性。

Jun, 2020

利用人工神经网络学习不确定性以改进预测性流程监控

研究了使用贝叶斯神经网络中的可学习不确定性来训练预测过程监控模型，以预测剩余时间和结果，并得出结论认为这种不确定性估计可以区分更精确和不太精确的预测，从而提高了用户对于这种预测系统的信心，在合作和以较小的数据集进行更早的实施方面具有潜在的可应用性。

Jun, 2022

深度神经网络中的不确定性调查

本文对神经网络不确定性估计进行了全面的概述和介绍，包括模型不确定性和数据不确定性，并介绍了通过确定性神经网络、贝叶斯神经网络、神经网络集合和测试时间数据增强方法来建模这些不确定性的方法。此外，还讨论了不确定性方面的实际应用中存在的挑战和限制，以及未来工作的展望。

Jul, 2021

估算和解释分类器不确定性的元启发式方法

针对机器学习模型影响采纳的关键因素之一 —— 信任，本研究提出了一组特征量，可以表征一个实例的复杂程度，并借助元学习框架评估误分类的风险。该框架在提高模型开发的复杂性方面具有潜在的应用前景，同时提供新的模型自我阻抗和解释手段。

Apr, 2023

深度学习不确定性估计的通用框架

提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

Jul, 2019

基于可信区间预测的自解释神经网络不确定性建模

通过设计一种新颖的不确定性建模框架，本研究旨在解决深度神经网络在解释性方面的挑战，实现分布无关的不确定性建模，并在生成的解释层中分配与最终预测分配给予的信心值间建立联系，同时在高级解释基础上产生高效和有效的预测集。理论分析和大量的实验评估证明了该不确定性框架的有效性。

Jan, 2024

研究模型不稳定性对解释和不确定性的影响

通过人为引入噪音来模拟文本输入的认知不确定性，在大规模实证研究中，我们插入不同级别的噪音扰动，并测量其对预训练语言模型输出和不同不确定性度量的影响。实际扰动对性能和解释几乎没有影响，而掩饰却有极大影响。我们发现在训练过程中暴露噪声时，高不确定性不一定意味着解释的可信度低；两个度量之间的相关性可能是适度正向的，这表明在不确定时加入噪声的模型可能更容易识别显著的标记。此外，当预测和认知不确定性度量过于自信时，对扰动的鲁棒性可能表明模型的稳定性问题。Integrated Gradients 显示了对扰动的整体最大鲁棒性，同时仍显示出模型特定的性能模式；然而，这种现象仅限于较小的基于 Transformer 的语言模型。

Feb, 2024

不确定性作为透明度的一种形式：测量、沟通和使用不确定性

本文介绍了一种补充的透明度形式 —— 估计和传达模型预测的不确定性，探讨了如何使用不确定性来缓解模型的不公平性、增强决策制定，并在现有机器学习管道中集成不确定性所需的信息。

Nov, 2020

不确定性感知的人工智能和机器学习：原因和方法

本文阐述了实现基于不确定性意识的人工智能和机器学习系统在决策支持中的必要性及其面临的挑战，并介绍了当前令人看好的研究方向。通过理论模拟，展示了两种新兴的不确定性意识机器学习和人工智能技术的集成对路径规划操作的价值。

Sep, 2018

神经网络中基于梯度的解释的不确定性量化

本文提出一个流程，通过结合不确定性估计方法和解释方法来确定神经网络解释的不确定性，使用该流程对 CIFAR-10、FER + 和加利福尼亚房屋数据集生成解释分布，并通过计算这些分布的变异系数来评估解释的置信度，结果表明使用引导反向传播生成的解释具有较低的不确定性，并计算修改后的像素插入 / 删除指标来评估生成解释的质量。

Mar, 2024