神经天气模型的有效误差条形图确定
人工智能系统中使用不可靠的预测会对决策产生负面影响，而基于模型不可知性量化的符合性预测方法可以解决这个问题，特别是在地球观测应用中，该方法可以提供可靠的不确定性信息并增强可靠性。
Jan, 2024
本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。
Jun, 2023
过去几十年，数据分析和机器学习领域的大部分工作都致力于优化预测模型，并取得比现有模型更好的结果。然而，本文指出对于很多应用而言，更加重要的并非准确的预测，而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界，对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且，无需对数据进行参数假设，这一非参数结果在渐近程度上也不必依赖大数定律，使得这个框架成为唯一值得称为 “无分布假设” 的框架。
May, 2024
介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法， 称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。
Jul, 2021
在遥感等关键应用中，深度学习模型的黑盒特性使其使用变得复杂。与数据可交换性相关的符合预测是一种能确保信任的方法，可提供有限样本覆盖保证，以用户定义的错误率为形式，确保预测集合包含真实类别。本文展示了符合预测算法与深度学习模型的不确定性相关，并可用于检测模型是否未校准。通过将 Resnet50、Densenet161、InceptionV3 和 MobileNetV2 等常见分类模型应用于遥感数据集，如 EuroSAT，证明在噪声场景下模型的输出变得不可靠。此外，还提出了一种基于模型不确定性和符合预测集合平均大小的未校准检测程序。
May, 2024
非参数机器学习模型与符合预测是房地产市场数据中准确预测房屋价格的方法，但由于地理空间上的依赖，直接应用符合预测在不同地理区域的置信区间不完全校准。本研究调查了各种方法来调整符合预测的置信区间以解决此问题，并在挪威奥斯陆房地产市场数据集上验证其性能。研究结果表明，在非一致性分数的 extit {局部加权} 版本上校准置信区间可以在不同地理区域中一致地进行校准。我们还在合成生成的销售价格上进行了模拟研究，从而在已知数据生成机制的理想条件下实证探索符合预测在房地产市场数据上的性能。
Dec, 2023
本文综述了关于符合预测的基本思想和新发展 —— 一种革新的无分布、非参数预测方法，基于最少的假设，能够以一种非常简单的方式得出在统计意义上的预测集，本文详细讨论了符合预测的理论基础，然后列举了原始思想的更高级的发展和适应方法。
May, 2020
快速增长的大型语言模型和自然语言处理（NLP）应用对不确定性量化提出了关键需求，以减轻幻象等风险并提高关键应用中的决策可靠性。条件预测正在成为一个理论上健全且实用的框架，结合了灵活性和强有力的统计保证。它的模型无关性和无分布性质使其特别有希望解决源于 NLP 系统缺乏不确定性量化的现有缺点。本文对条件预测技术、其保证以及 NLP 中的现有应用进行了全面调研，指出了未来研究的方向和面临的挑战。
May, 2024