二阶不确定性量化:基于距离的方法
在这篇论文中,我们提出了一种新的方法来使用基于方差的度量标准来量化分类问题中的不确定性,能够对类别级别的不确定性进行推理,该方法在需要细致决策的情况下非常有用。除了这种公理方法,我们还提供了实证结果,表明这种度量标准在有效性和竞争性上与常用的基于熵的度量标准相当。
Dec, 2023
过去几十年,数据分析和机器学习领域的大部分工作都致力于优化预测模型,并取得比现有模型更好的结果。然而,本文指出对于很多应用而言,更加重要的并非准确的预测,而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界,对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且,无需对数据进行参数假设,这一非参数结果在渐近程度上也不必依赖大数定律,使得这个框架成为唯一值得称为 “无分布假设” 的框架。
May, 2024
可解释性人工智能为复杂的机器学习黑盒子带来了透明度,从而能够识别模型在预测中使用的特征。我们的研究揭示出预测不确定性主要由涉及单个特征或特征之间的乘积相互作用的二阶效应所主导。我们提出了一个基于这些二阶效应的预测不确定性解释方法。我们的方法在计算上简化为对一系列一阶解释进行简单的协方差计算。我们的方法通常适用,可以将常见的归因技术(LRP、梯度 × 输入等)转化为强大的二阶不确定性解释器,我们称之为 CovLRP、CovGI 等。我们通过系统的定量评估证明了我们的方法产生解释的准确性,并通过两个实际案例展示了我们方法的整体实用性。
Jan, 2024
如何在设计在线算法中最佳利用不确定性量化预测,以及如何利用更一般形式的不确定性量化,提出了基于在线学习的框架来在多实例场景中学习如何充分利用不确定性量化作出最佳决策。
Oct, 2023
本文提出了一种基于几何的方法来改善机器学习模型中的不确定性(或置信度)估计,结果表明相比于最近提出的方法更准确,并且可优化其实现以适用于需实时响应的大数据集应用的关键词是 “机器学习”、“不确定性估计”、“风险管理”、“基于几何的方法” 和 “事后技术”。
Jan, 2023
我们提出了一种基于几何的方法来估计不确定性,它可通过后处理模型校准来实现,避免了重新训练和更改模型,经多个数据集和模型的详细评估显示出更好的不确定性估计,并且可在接近实时应用中使用。
Jun, 2022
提出了基于合适评分规则(proper scoring rules)的新的测量方法,用于量化机器学习中的系统不确定性和认知不确定性,建立了不同不确定性表示之间的联系,并引入了新的认知和系统不确定性度量。
Apr, 2024
本文调查了最近的深度学习方面的不确定性量化的研究,特别关注了具有数学特性和广泛适用性的无分布符合预测方法,介绍了相关技术和在时空数据背景下提高校准和效率的方法,并讨论了不确定性量化在安全决策方面的作用。
Sep, 2022
本文提出了 CUQDS 框架,该框架旨在量化现有轨迹预测模型在数据分布转移下的预测轨迹不确定性,并在训练阶段考虑模型预测准确性的提高和估计不确定性的减少。
Jun, 2024
深度神经网络在过去几十年取得了重大成功,但它们没有很好的校准性,经常产生不可靠的预测。本文关注于不确定性量化在依赖节点级分类中的应用,并提出了改进的正则化方法来提高分类模型的可靠性。经过大量实验证明,在超过分布检测和误分类检测的应用场景中,提出的正则化方法优于目前的最新技术。
Nov, 2023