以大量分类问题为基础，对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。

Jun, 2019

本文介绍了一个多阶段综合的机器学习方法，有效地将信息系统和人工智能相结合，以增强操作研究领域内的决策过程的效力。该方法能够解决现有解决方案的常见限制，例如忽略关键生产参数的数据驱动估计、仅生成点预测而不考虑模型不确定性以及缺乏关于不确定性来源的解释。我们的方法利用分位数回归森林生成间隔预测，同时采用了局部和全局版本的 SHapley 加性解释，用于研究预测过程监测问题。通过一个实际的生产计划案例研究，我们证明了所提出方法的实际适用性，强调了规范分析在完善决策程序方面的潜力。本文强调了解决这些挑战以充分利用广泛和丰富的数据资源来进行明智决策。

Apr, 2023

本研究探讨了如何在可靠和透明的决策机制中集成不确定性量化和模型可解释性方法，以促进可信的业务和运营过程分析。研究了如何在全局和本地后验解释方法中有效地传达模型不确定性，并检查了适当的可视化分析方法以促进方法论的集成。所提出的方法和界面也得到了专家的反馈。

Apr, 2023

我们提出了一个针对机器学习模型的模型无关算法，用于在仅可得到模型的输入输出样本而非对模型本身直接访问时生成事后解释和不确定性区间。

Jan, 2023

本文提出了基于贝叶斯框架的黑盒模型解释方法，能够生成可靠的局部解释和其关联的不确定性，并且具有稳定性和高度一致性，可以快速地解决几个重要问题。通过实证研究，证明了该方法的有效性，并提高了解释的可靠性。

Aug, 2020

研究了使用贝叶斯神经网络中的可学习不确定性来训练预测过程监控模型，以预测剩余时间和结果，并得出结论认为这种不确定性估计可以区分更精确和不太精确的预测，从而提高了用户对于这种预测系统的信心，在合作和以较小的数据集进行更早的实施方面具有潜在的可应用性。

Jun, 2022

该研究提出了一种序列监测方案，通过考虑测量模型质量的时间依赖性，减少不必要的警报并解决多重测试问题，从而在检测模型质量相关变化方面优于基准方法。此研究为在动态环境中区分小幅波动和有意义的模型性能退化提供了实用解决方案，确保机器学习模型的可靠性。

Sep, 2023

机器学习模型中的不确定性是一个关键特征，尤其在神经网络中更为重要，因其倾向于过于自信。本研究提出了一个通用的不确定性框架，将不确定性估计定位为可解释的人工智能技术，并引入分类与拒绝机制以减少错误分类，同时应用于教育数据挖掘中的神经网络案例研究，提高模型在操作研究中决策任务中的可信度与行动性。

Mar, 2024

本文提出一种将 Shapley 值框架用于解释各种预测不确定性的方法，旨在通过量化每个特征对个体模型输出的条件熵的贡献来解释模型输出的不确定度；该方法具有用于协变量转移检测、主动学习、特征选择和主动特征值获取的应用。

Jun, 2023

通过人为引入噪音来模拟文本输入的认知不确定性，在大规模实证研究中，我们插入不同级别的噪音扰动，并测量其对预训练语言模型输出和不同不确定性度量的影响。实际扰动对性能和解释几乎没有影响，而掩饰却有极大影响。我们发现在训练过程中暴露噪声时，高不确定性不一定意味着解释的可信度低；两个度量之间的相关性可能是适度正向的，这表明在不确定时加入噪声的模型可能更容易识别显著的标记。此外，当预测和认知不确定性度量过于自信时，对扰动的鲁棒性可能表明模型的稳定性问题。Integrated Gradients 显示了对扰动的整体最大鲁棒性，同时仍显示出模型特定的性能模式；然而，这种现象仅限于较小的基于 Transformer 的语言模型。

Feb, 2024