本文提出了使用最大平均偏差最小化核嵌入度量的校准回归方法,证明该方法在样本量足够大时其校准误差渐近收敛于零,实验结果表明该方法能够产生良好校准和尖锐的预测区间,优于相关现有技术。
Jun, 2020
本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法,并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证,展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。
May, 2019
机器学习模型在计量学应用中的可信度需要伴随确定性不确定性的量化,本文解决了经过训练 / 固定的机器学习回归模型中不确定性传播的挑战,提供了在特定输入数据分布和多种机器学习模型下,对模型输出均值和方差的解析表达式,并通过数值实验验证方法,与蒙特卡罗方法在计算效率上进行比较,同时以锂离子电池状态建模为例,展示了方法的应用。
Apr, 2024
这篇论文提出了第一个框架,统一了概率预测模型的校准评估和测试,并应用于分类和任意维度回归模型。
Oct, 2022
使用条件核平均嵌入测量标定差异,以提高机器学习模型的不确定性量化,并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力,并计划用于更复杂的应用。
May, 2024
本研究针对机器学习中广泛采用的归一化校准误差(ENCE)统计量,研究其误差与所选数据分组数量的相关性,提出了同时可作为校准检验的解决方案。实验表明,标准差校准误差(ZVE)对离群值不敏感,相对于 ENCE 更为鲁棒。
May, 2023
通过多校准算法,我们不仅能预测标签分布的期望值,还能预测更高阶矩,这为在各个子群体上估计不确定性和诊断特征的不公平性提供了一个原则性的方法。
Aug, 2020
优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法,通过可微的 loss 函数来实现模型的不确定性校准,结果显示比现有的方法在大规模图像分类任务中表现的更好
Dec, 2020
本文探讨贝叶斯方法在不确定性问题上的推理方法,提出一种简单有效的校准程序,可以保证在足够的数据下,任何回归算法都能够产生准确的校准不确定性估计,并应用于贝叶斯线性回归、前向和递归神经网络中,能够稳定输出准确的区间预测,并提高时间序列预测和基于模型的强化学习性能。
Jul, 2018
本文针对分类器标定的问题,提出以正确描述其应用背景为目的,开发更准确反映标定误差的更具表达力的度量标准;其中,基于期望标定误差的推广,提出了几种不同的度量标准,分别反映了针对不同的可靠性定义的标定误差;此外,基于这些不同的度量标准,作者对常用的神经网络结构和标定技术进行了广泛的实证评估,发现许多常用的标定技术在这些不同可靠性定义的标定误差上并未有统一的改善.
May, 2022