Jun, 2021

不确定性特性曲线：预测区间的系统评估

PDF
TL;DR本文提出了一种可靠的方法用于评估 AI 模型中预测不确定性，解决了现有的方法难以比较与衡量的问题。该方法基于操作特性曲线的概念和改进参考点的方法，可以有效地评估预测区间的准确性和稳定性，从而使其成为不确定性量化工具箱中的有价值的补充。
发现论文，激发创造
  • 使用不确定性特征曲线评估预测区间

    准确量化模型不确定性一直被认为是值得信赖的人工智能的基本要求。本文利用操作特性曲线的概念和相对空白参考的收益概念，提出了一种新的对预测区间进行评估的方法。通过定义不确定性特性曲线并展示其在选定场景中的效用，我们认为该方法能够满足目前对预测区间全面评估的需求，并因此成为不确定性量化工具箱中的有价值的补充。

    Oct, 2023

  • 利用辅助区间预测器通过不确定性匹配构建校准的深度模型

    为了解决深度学习模型不确定性的问题，开发了一种新的方法来构建校准的估计器，通过预测模型和区间估计模型交互，显著提高了回归、时间序列预测和对象定位等任务的效果和校准能力。

    Sep, 2019

  • 人工智能预测材料性质的不确定性量化方法的比较

    机器学习在材料性能预测中是一个常用工具，本文研究了三种易于实施的方法来确定预测的不确定性，并比较了其在十种材料性质上的应用。

    Oct, 2023

  • 回归任务中的不确定性预测评估和校准

    本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

    May, 2019

  • 临床试验结果预测的不确定性量化

    在临床试验结果预测中，将不确定性量化、选择性分类和层次交互网络（HINT）相融合的方法显著提高了模型的性能，其中 PR-AUC 指标相对基础模型提高了 32.37％、21.43％和 13.27％，在预测 III 期试验时达到了 0.9022 的 PR-AUC 得分，表明该策略在临床试验预测领域具有鲁棒性和前景潜力。

    Jan, 2024

  • 学习模型性能的预测区间

    使用自动化方法来估算模型预测的不确定性，使得预测间隔和性能预测等领域在真实世界中变得更加实用。

    Dec, 2020

  • 使用校准回归的深度学习准确不确定性

    本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

    Jul, 2018

  • 基于规则模型的不确定性量化

    本篇研究提出了一种基于元模型的不确定性量化框架，可用于任何具备二元分类器的黑盒模型，并探讨了这一框架的实用性及其在不同场景下的性能

    Nov, 2022

  • 一种模型评估的性能特征曲线：在信息扩散预测中的应用

    社交网络上的信息传播预测旨在预测消息的未来接收者，在营销和社交媒体方面有实际应用。我们提出了一个基于信息熵的度量来量化扩散数据的随机性，然后发现了随机性和模型预测准确性之间的缩放模式。该性能特征曲线提供了一种系统评估模型性能的新方法，为模型评估的未来研究提供了新的视角。

    Sep, 2023

  • 重新审视不确定性估计的评估及其在探索模型复杂度 - 不确定性平衡中的应用

    本研究针对神经网络预测的不确定性准确度进行研究，提出了针对不同使用场景下的新度量标准，探讨了模型复杂度与不确定度准确度之间的权衡关系，并通过实验验证了新度量标准的有效性和一些有趣的趋势。

    Mar, 2019