过去几十年,数据分析和机器学习领域的大部分工作都致力于优化预测模型,并取得比现有模型更好的结果。然而,本文指出对于很多应用而言,更加重要的并非准确的预测,而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界,对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且,无需对数据进行参数假设,这一非参数结果在渐近程度上也不必依赖大数定律,使得这个框架成为唯一值得称为 “无分布假设” 的框架。
May, 2024
介绍一种无需分布假设或模型假设,可用于任何预训练模型(如神经网络)生成 100% 正确性置信区间(信赖区间)的方法, 称之为一致预测;并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。
Jul, 2021
本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架,提出了一种新的基于概率方法的模型不确定性量化方法,并提供了可靠的边界用于计算不确定度。
Jun, 2023
人工智能系统中使用不可靠的预测会对决策产生负面影响,而基于模型不可知性量化的符合性预测方法可以解决这个问题,特别是在地球观测应用中,该方法可以提供可靠的不确定性信息并增强可靠性。
Jan, 2024
通过进行全面的实验和比较性能分析,我们研究了皮肤病变分类任务中三种不确定性量化方法:Conformal Prediction、Monte Carlo Dropout 和 Evidential Deep Learning,发现 Conformal Prediction 在各种条件下表现出的鲁棒性和一致性,使其成为安全关键应用中决策的首选。
Dec, 2023
通过深度学习对时空数据进行不确定性量化,可以解决在高风险决策应用中出现的预测错误问题,并为未来的研究方向提供了潜在的机会。
Nov, 2023
该论文提出了一种处理量子机器学习中普遍存在的不确定性的通用方法学,该方法可以在训练数据量有限、量子计算硬件噪声存在的情况下可靠地度量量子模型的不确定,并基于概率共同预测来达到对真实目标的可信度量。
Apr, 2023
运算符学习在科学和工程应用领域中得到了越来越广泛的应用,其中许多需要经过校准的不确定性量化。本文提出了一种风险控制分位数神经运算符,即无分布、有限样本的函数校准型预测方法,通过实验证实了我们的理论结果,显示了校准的覆盖率和高效的不确定性范围,优于基准方法。
Feb, 2024
本文研究机器翻译的不确定性评估方法,发现目前大多数方法对模型不确定性的估计较低,建议采用分布自由的合规预测法来保证覆盖度,并提出条件合规预测技术来获得每个数据子组的校准子集,从而实现覆盖率均衡。
快速增长的大型语言模型和自然语言处理(NLP)应用对不确定性量化提出了关键需求,以减轻幻象等风险并提高关键应用中的决策可靠性。条件预测正在成为一个理论上健全且实用的框架,结合了灵活性和强有力的统计保证。它的模型无关性和无分布性质使其特别有希望解决源于 NLP 系统缺乏不确定性量化的现有缺点。本文对条件预测技术、其保证以及 NLP 中的现有应用进行了全面调研,指出了未来研究的方向和面临的挑战。