这篇论文介绍了如何将解释性方法扩展到具有不确定性意识的模型中，并演示了如何通过这些方法深入理解模型行为、特征对预测分布熵和真实标签对数似然的影响，以及不确定性来源对模型性能的影响。

Oct, 2023

本文研究基于统计学习理论的机器学习方法中的不确定性问题，并深入探讨了在回归分析中评估模型系数和输出特征值预测中的不确定度。另外，针对机器学习中的模型复杂度和严重非线性等问题提出解决方案，并指出决策制定时需要对机器学习模型和预测进行不确定性评估、风险评估的需求，并提供使用非参数技术解决不确定性问题的方法及最新的超级计算机设备供进行高强度计算。

Jun, 2022

该研究论文讨论了检测回归算法中的不可靠行为的挑战，首先正式介绍了回归中的不可靠性概念，然后利用概率建模工具估计误差密度并测量其统计差异性，从而得出表达回归结果不确定性的数据驱动评分。实验证明在多个回归任务中，该方法在错误检测方面的性能显著优于流行的基准方法，并为不确定性量化和安全机器学习系统的广泛领域做出贡献。

Jun, 2024

机器学习模型在计量学应用中的可信度需要伴随确定性不确定性的量化，本文解决了经过训练 / 固定的机器学习回归模型中不确定性传播的挑战，提供了在特定输入数据分布和多种机器学习模型下，对模型输出均值和方差的解析表达式，并通过数值实验验证方法，与蒙特卡罗方法在计算效率上进行比较，同时以锂离子电池状态建模为例，展示了方法的应用。

Apr, 2024

该研究探讨了机器学习预测在随机数生成器（RNGs）的最小熵估计中的应用，此为密码学应用的关键组件，准确的熵评估对于网络安全至关重要。研究结果表明，这些预测器主要估计平均最小熵，这是这一领域中未被广泛研究的指标，并通过研究平均最小熵与传统最小熵之间的关系，重点关注它们对目标位数的依赖性。通过利用广义二进制自回归模型的数据，展示了机器学习模型（包括卷积和循环长短期记忆层的混合模型以及基于 Transformer 的 GPT-2 模型）在某些情况下优于传统的 NIST SP 800-90B 预测器。我们的研究结果强调了对 RNGs 进行最小熵评估时考虑目标位数的重要性，并突显了机器学习方法在增强熵估计技术以提升密码学安全性方面的潜力。

Jun, 2024

应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见，揭示当前预测不确定性度量的局限性，并引入了一种理论上可靠的度量方法来克服这些局限。实验证明，我们引入的度量方法在控制的合成任务中表现得更加合理，并且在利用预测不确定性的实际应用中具有优势。

Nov, 2023

本论文研究了基于矩阵分解的预测系统，旨在预测特定数据集上特定模型的分类准确性。通过超过 50 个数据集的全面实证研究，着重于研究三种基础机器学习算法（随机森林、XGBoost 和 MLP）的性能预测，包括粗调和变体微调模型的可预测性，利用特征提取技术实现 MLP 的可预测性，以及使用隐式反馈来预测模型性能。

Apr, 2023

这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

Oct, 2022

机器学习算法在实际应用中发展日益复杂，特别是在医学和工程等高风险应用中使用机器学习技术时，预测模型的失败概率至关重要。我们提出了风险评估任务，并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题，该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质，我们证明了所提方法的近似失败概率是保守的，不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。

Oct, 2023

本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

May, 2019