为了解决深度学习模型不确定性的问题，开发了一种新的方法来构建校准的估计器，通过预测模型和区间估计模型交互，显著提高了回归、时间序列预测和对象定位等任务的效果和校准能力。

Sep, 2019

本文介绍了一种组合 DNN、XGBoost 和差异性计算技术的集成方法，用于估计预测的不确定性、提高准确性并提供预期变化的区间，其计算简单，适用于小数据集且性能提升显著，且模型的预测区间可平均包括实际值的 71％和 78％。

Oct, 2022

提出了一种基于统计方法的神经网络预测间隔构造方法，旨在解决其他相关研究的局限性，提供更为准确的预测区间并保证预测精度，该方法易于实施且适用于大多数深度神经网络。

May, 2019

准确量化模型不确定性一直被认为是值得信赖的人工智能的基本要求。本文利用操作特性曲线的概念和相对空白参考的收益概念，提出了一种新的对预测区间进行评估的方法。通过定义不确定性特性曲线并展示其在选定场景中的效用，我们认为该方法能够满足目前对预测区间全面评估的需求，并因此成为不确定性量化工具箱中的有价值的补充。

Oct, 2023

本研究提出了两个方法来改进自然语言处理任务的性能预测：其一是对准确度进行细致的分类表现分析，其二是从置信区间和校准性两个角度理解性能预测模型的可靠性。通过对四类不同的任务分析论证了细致表现预测的必要性，同时说明性能预测方法在未来需要进行可靠性分析，我们公开了代码。

Feb, 2021

在 AutoML 环境下，比较评估了 9 种最先进的方法和变体在置信区间（CI）估计方面的表现，以包含百分比、CI 的紧致性和执行时间为指标，结果支持 BBC-F 和 BBC 在所有度量指标上优于其他方法。

Jun, 2024

本文提出了一种可靠的方法用于评估 AI 模型中预测不确定性，解决了现有的方法难以比较与衡量的问题。该方法基于操作特性曲线的概念和改进参考点的方法，可以有效地评估预测区间的准确性和稳定性，从而使其成为不确定性量化工具箱中的有价值的补充。

Jun, 2021

本论文研究使用神经网络生成预测区间 (PIs) 以量化回归任务中的不确定性。通过导出一个无需分布假设的损失函数，该方法能够生成高质量的 PIs，并通过集成学习考虑了模型不确定性，实验结果表明该方法优于目前最先进的不确定性量化方法，平均 PI 宽度减少了 10% 以上。

Feb, 2018

本文提出了一种区分学习框架，它在区间大小预算约束下，优化预期错误率，以构建归纳批处理中的预测区间。通过专注于预期误差，我们的方法允许条件错误率的变异性，这可以提高整体准确性或者减少平均区间大小。虽然我们考虑的问题是回归型的，但我们使用的损失是组合型的，这使我们能够提供 PAC 样式的有限样本保证。

Oct, 2017

本文介绍了一种基于黑盒预测器实现集值预测、控制用户指定水平下的未来测试点期望损失大小以及使用 holdout 集来校准优化预测集大小的方法，这种方法能够提供简单、分布自由和严密的误差控制，适用于多个任务，如分类问题、多标记分类、分类问题中带有层次结构的标签、图像分割和蛋白质结构预测，还有拓展探讨。

Jan, 2021