Feb, 2024

基于风险分解的严格适当评分规则的预测不确定性量化

PDF
TL;DR区分预测不确定性的来源对于在各个领域中应用预测模型至关重要。本研究提出了一个基于统计推理的通用框架，不仅可以创建新的不确定性度量，还可以澄清它们之间的关系。我们的方法利用统计风险区分了随机不确定性和认知不确定性，并利用适当的得分规则进行量化。为了使其在实践中可行，我们提出了将贝叶斯推理纳入该框架的思路，并讨论了该近似方法的性质。
predictive uncertaintyuncertainty measuresstatistical reasoningaleatoric uncertaintyepistemic uncertainty
发现论文，激发创造
  • 用适当评分规则量化随机和知识不确定性

    提出了基于合适评分规则（proper scoring rules）的新的测量方法，用于量化机器学习中的系统不确定性和认知不确定性，建立了不同不确定性表示之间的联系，并引入了新的认知和系统不确定性度量。

    Apr, 2024

  • 标签级表观和本体不确定性量化

    基于标签分解的不确定性量化方法，提高成本敏感决策并帮助理解不确定性来源，使用方差等非分类度量定义总体、属概性和认知不确定性，针对分类任务进行实证评估。

    Jun, 2024

  • 可靠性、充分性和合适得分的分解

    本文探讨了如何通过得分规则衡量概率预测方案的性能，包括在二元情况下的 Brier 得分和有限值目标的预测，分析了分辨率和可靠性对得分的积极影响以及与预测质量相关的概念。

    Jun, 2008

  • 概率评分规则的对比

    该文研究了几种评分规则，以便为概率预测模型评分或估计模型参数。研究发现，采用对数评分规则以在更不确定的情况下犯错为优势，采用球形评分规则则以在较低不确定性下犯错为优势，而其他评分规则则对两种选择都不关心。

    Dec, 2011

  • 贝叶斯深度学习中不确定性分解的高效和风险敏感学习

    本文介绍了一种基于贝叶斯神经网络与潜变量的概率模型可用于对数据中的复杂噪声模式进行建模和决策，同时提出了一种通过不确定性分解策略辨识有信息量的数据点以及如何平衡预期成本、模型偏差与噪声厌恶的新型风险敏感标准用于强化学习。

    Oct, 2017

  • 二阶不确定性量化：基于方差的度量

    在这篇论文中，我们提出了一种新的方法来使用基于方差的度量标准来量化分类问题中的不确定性，能够对类别级别的不确定性进行推理，该方法在需要细致决策的情况下非常有用。除了这种公理方法，我们还提供了实证结果，表明这种度量标准在有效性和竞争性上与常用的基于熵的度量标准相当。

    Dec, 2023

  • 基于得分的生成模型的可证明鲁棒性研究：一个不确定性量化的视角

    通过不确定性量化的视角，我们证明基于得分的生成模型对实际实现中的多重误差具有可靠性。利用 Wasserstein 不确定性传播定理，我们展示了有限样本近似、提前停止、得分匹配目标选择、得分函数参数化表达能力以及参考分布选择所导致的误差如何影响生成模型的质量。Wasserstein 不确定性传播定理适用于超过 $d_1$ 的积分概率度量，如总变差距离和最大平均差距。我们的方法假设最少，与流形假设无关，并避免了目标分布的绝对连续性假设。此外，我们的结果阐明了 SGM 中多个误差来源之间的权衡。

    May, 2024

  • 基于规则模型的不确定性量化

    本篇研究提出了一种基于元模型的不确定性量化框架，可用于任何具备二元分类器的黑盒模型，并探讨了这一框架的实用性及其在不同场景下的性能

    Nov, 2022

  • 生存分析的适当评分规则

    本篇论文研究了四种主要的适用于生存分析中的严格得分规则推广，并且证明了这些扩展在离散化条件下是适当的，并通过真实数据集比较了这些扩展得分规则的估计性能，发现对数分值和布赖尔分值的扩展效果最好。

    May, 2023

  • 二阶不确定性量化：基于距离的方法

    根据最新的批评，我们提出了基于二阶概率分布的预测不确定性的有效度量指标的一组形式标准，并提供了一个基于 Wasserstein 距离的具体框架，证明了所有标准均得到满足。

    Dec, 2023