ICMLOct, 2023

使用不确定性特征曲线评估预测区间

PDF
TL;DR准确量化模型不确定性一直被认为是值得信赖的人工智能的基本要求。本文利用操作特性曲线的概念和相对空白参考的收益概念，提出了一种新的对预测区间进行评估的方法。通过定义不确定性特性曲线并展示其在选定场景中的效用，我们认为该方法能够满足目前对预测区间全面评估的需求，并因此成为不确定性量化工具箱中的有价值的补充。
发现论文，激发创造
  • 不确定性特性曲线：预测区间的系统评估

    本文提出了一种可靠的方法用于评估 AI 模型中预测不确定性，解决了现有的方法难以比较与衡量的问题。该方法基于操作特性曲线的概念和改进参考点的方法，可以有效地评估预测区间的准确性和稳定性，从而使其成为不确定性量化工具箱中的有价值的补充。

    Jun, 2021

  • 利用辅助区间预测器通过不确定性匹配构建校准的深度模型

    为了解决深度学习模型不确定性的问题，开发了一种新的方法来构建校准的估计器，通过预测模型和区间估计模型交互，显著提高了回归、时间序列预测和对象定位等任务的效果和校准能力。

    Sep, 2019

  • 人工智能预测材料性质的不确定性量化方法的比较

    机器学习在材料性能预测中是一个常用工具，本文研究了三种易于实施的方法来确定预测的不确定性，并比较了其在十种材料性质上的应用。

    Oct, 2023

  • 一种模型评估的性能特征曲线：在信息扩散预测中的应用

    社交网络上的信息传播预测旨在预测消息的未来接收者，在营销和社交媒体方面有实际应用。我们提出了一个基于信息熵的度量来量化扩散数据的随机性，然后发现了随机性和模型预测准确性之间的缩放模式。该性能特征曲线提供了一种系统评估模型性能的新方法，为模型评估的未来研究提供了新的视角。

    Sep, 2023

  • 回归任务中的不确定性预测评估和校准

    本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

    May, 2019

  • 学习模型性能的预测区间

    使用自动化方法来估算模型预测的不确定性，使得预测间隔和性能预测等领域在真实世界中变得更加实用。

    Dec, 2020

  • 临床试验结果预测的不确定性量化

    在临床试验结果预测中，将不确定性量化、选择性分类和层次交互网络（HINT）相融合的方法显著提高了模型的性能，其中 PR-AUC 指标相对基础模型提高了 32.37％、21.43％和 13.27％，在预测 III 期试验时达到了 0.9022 的 PR-AUC 得分，表明该策略在临床试验预测领域具有鲁棒性和前景潜力。

    Jan, 2024

  • 从协同网络中估计不确定性区间

    本研究提出了一种名为 Collaborating Networks (CN) 的方法，利用两个神经网络来近似回归的累积分布函数及其反函数，实现预测分布的估算，该方法具有高度的一致性、准确性和鲁棒性，在电子健康记录等领域应用具有重要意义。

    Feb, 2020

  • 通过相应性预测进行操作数据库学习的校正不确定性量化

    运算符学习在科学和工程应用领域中得到了越来越广泛的应用，其中许多需要经过校准的不确定性量化。本文提出了一种风险控制分位数神经运算符，即无分布、有限样本的函数校准型预测方法，通过实验证实了我们的理论结果，显示了校准的覆盖率和高效的不确定性范围，优于基准方法。

    Feb, 2024

  • 重新审视不确定性估计的评估及其在探索模型复杂度 - 不确定性平衡中的应用

    本研究针对神经网络预测的不确定性准确度进行研究，提出了针对不同使用场景下的新度量标准，探讨了模型复杂度与不确定度准确度之间的权衡关系，并通过实验验证了新度量标准的有效性和一些有趣的趋势。

    Mar, 2019