一个温和的介绍:拟合预测及无分布不确定性量化
过去几十年,数据分析和机器学习领域的大部分工作都致力于优化预测模型,并取得比现有模型更好的结果。然而,本文指出对于很多应用而言,更加重要的并非准确的预测,而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界,对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且,无需对数据进行参数假设,这一非参数结果在渐近程度上也不必依赖大数定律,使得这个框架成为唯一值得称为 “无分布假设” 的框架。
May, 2024
本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架,提出了一种新的基于概率方法的模型不确定性量化方法,并提供了可靠的边界用于计算不确定度。
Jun, 2023
本文调查了最近的深度学习方面的不确定性量化的研究,特别关注了具有数学特性和广泛适用性的无分布符合预测方法,介绍了相关技术和在时空数据背景下提高校准和效率的方法,并讨论了不确定性量化在安全决策方面的作用。
Sep, 2022
通过进行全面的实验和比较性能分析,我们研究了皮肤病变分类任务中三种不确定性量化方法:Conformal Prediction、Monte Carlo Dropout 和 Evidential Deep Learning,发现 Conformal Prediction 在各种条件下表现出的鲁棒性和一致性,使其成为安全关键应用中决策的首选。
Dec, 2023
人工智能系统中使用不可靠的预测会对决策产生负面影响,而基于模型不可知性量化的符合性预测方法可以解决这个问题,特别是在地球观测应用中,该方法可以提供可靠的不确定性信息并增强可靠性。
Jan, 2024
快速增长的大型语言模型和自然语言处理(NLP)应用对不确定性量化提出了关键需求,以减轻幻象等风险并提高关键应用中的决策可靠性。条件预测正在成为一个理论上健全且实用的框架,结合了灵活性和强有力的统计保证。它的模型无关性和无分布性质使其特别有希望解决源于 NLP 系统缺乏不确定性量化的现有缺点。本文对条件预测技术、其保证以及 NLP 中的现有应用进行了全面调研,指出了未来研究的方向和面临的挑战。
May, 2024
机器学习系统中风险量化与控制的研究,集中在处理 ML 系统收集自身数据时产生的数据分布变化问题,通过扩展 conformal prediction 理论以适应任意数据分布,并提出了针对特定数据分布的可行算法,以解决这一挑战。
May, 2024
本文综述了关于符合预测的基本思想和新发展 —— 一种革新的无分布、非参数预测方法,基于最少的假设,能够以一种非常简单的方式得出在统计意义上的预测集,本文详细讨论了符合预测的理论基础,然后列举了原始思想的更高级的发展和适应方法。
May, 2020
该论文提出了一种处理量子机器学习中普遍存在的不确定性的通用方法学,该方法可以在训练数据量有限、量子计算硬件噪声存在的情况下可靠地度量量子模型的不确定,并基于概率共同预测来达到对真实目标的可信度量。
Apr, 2023