级联预测模块系统的置信度校准
为了解决深度学习模型不确定性的问题,开发了一种新的方法来构建校准的估计器,通过预测模型和区间估计模型交互,显著提高了回归、时间序列预测和对象定位等任务的效果和校准能力。
Sep, 2019
本文研究机器翻译的不确定性评估方法,发现目前大多数方法对模型不确定性的估计较低,建议采用分布自由的合规预测法来保证覆盖度,并提出条件合规预测技术来获得每个数据子组的校准子集,从而实现覆盖率均衡。
Jun, 2023
该研究论文关注使用置信度评分的级联推理系统,讨论了在推理准确性和计算成本方面提高系统性能的期望置信度评分,并提出了新的置信度校准方法 Learning to Cascade。实验结果表明,Learning to Cascade 在推理准确性和计算成本之间实现了更好的平衡。
Apr, 2021
本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法,可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战,且可以和任何分类模型结合使用并保证有效性。
Apr, 2020
在遥感等关键应用中,深度学习模型的黑盒特性使其使用变得复杂。与数据可交换性相关的符合预测是一种能确保信任的方法,可提供有限样本覆盖保证,以用户定义的错误率为形式,确保预测集合包含真实类别。本文展示了符合预测算法与深度学习模型的不确定性相关,并可用于检测模型是否未校准。通过将 Resnet50、Densenet161、InceptionV3 和 MobileNetV2 等常见分类模型应用于遥感数据集,如 EuroSAT,证明在噪声场景下模型的输出变得不可靠。此外,还提出了一种基于模型不确定性和符合预测集合平均大小的未校准检测程序。
May, 2024
决策者使用机器学习进行决策时,在预测结果相同的情境下通常会采取相同的行动。符合性预测有助于决策者量化行动的结果不确定性,从而实现更好的风险管理。我们提出了自洽符合性预测,它能够生成既具有 Venn-Abers 校准的预测,又能在模型预测促使的行动条件下保持有效的符合性预测区间。我们的方法可以后期应用于任何黑盒预测模型,为特定行动提供严格的决策保证。数值实验表明我们的方法在区间效率和条件有效性之间取得了平衡。
Feb, 2024
该论文采用一种名为 Conformal Prediction (CP) 的新型机器学习框架,基于独立同分布的数据,提出了一种扩展传统回归神经网络的方法,将点预测转化为满足所需置信水平的预测区间。作者在四个基准数据集和预测电离层连接中的重要参数之一 —— 总电子含量 (TEC) 的预测问题上进行了实证评估,结果表明该方法产生的预测区间在实践中既具有良好的校准性又足够紧凑。
Dec, 2023
利用一种名为 CCR 的新方法,通过使用模型输出的一系列符合预测间隔来建立模型参数的置信区间,创新地解决了模型参数置信区间构建中的挑战,并在有限样本情景下提供了覆盖保证。
May, 2024
通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区,再通过 Inductive Venn 预测器进行校准,从而实现对不确定性的量化和计算机分类模型预测集的标记,进而实现最终任务的目标。
May, 2022