深度学习模型不确定性的置信度量化

Jun, 2023

深度学习模型不确定性的置信度量化

Quantifying Deep Learning Model Uncertainty in Conformal Prediction

Hamed Karimi, Reza Samavi

TL;DR本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

Abstract

Precise estimation of predictive uncertainty in deep neural networks is a critical requirement for reliable decision-making in machine learning and statistical modeling, particularly in the context of medical AI.

predictive uncertainty deep neural networks conformal prediction model uncertainty probabilistic approach

发现论文，激发创造

一个温和的介绍：拟合预测及无分布不确定性量化

介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法，称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

Jul, 2021

通过邻域符合预测改进深度分类器的不确定性量化：新算法和理论分析

本研究提出了一种名为邻域适应序列预测（NCP）的新算法，通过利用神经网络的学习表示来识别给定测试输入的 k 个最近邻校准样例，并根据它们的距离分配重要性权重，创建自适应预测集，从而提高使用 CP 进行深度分类器的不确定性量化的效率。

Mar, 2023

利用符合预测的不确定性定量化地球观测中的概率机器学习

人工智能系统中使用不可靠的预测会对决策产生负面影响，而基于模型不可知性量化的符合性预测方法可以解决这个问题，特别是在地球观测应用中，该方法可以提供可靠的不确定性信息并增强可靠性。

Jan, 2024

信息论视角下的符合预测

本研究利用信息论来将符合预测与其他不确定性概念相联系，并证明了三种不同的方法来上界内在不确定性，同时通过符合预测和信息论不等式的组合，实现了两种直接有用的应用：（i）更规范和有效的符合训练目标，从头开始实现机器学习模型的端到端训练，（ii）将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证，并证明了我们的理论结果能够转化为流行的符合预测方法的低效性（平均预测集大小）。

May, 2024

基于加密的蒙特卡罗预测的鲁棒不确定性量化

用深度学习模型进行安全关键应用的部署仍然是一项非常具有挑战性的任务。我们介绍了一种新的混合不确定性量化方法，将自适应的蒙特卡罗（MC）dropout 方法与符合预测（CP）相结合，提供可靠的预测集 / 区间，从而大大改进了现有的不确定性量化方法。

Aug, 2023

可信皮肤病变分类的合规预测的实证验证

通过进行全面的实验和比较性能分析，我们研究了皮肤病变分类任务中三种不确定性量化方法：Conformal Prediction、Monte Carlo Dropout 和 Evidential Deep Learning，发现 Conformal Prediction 在各种条件下表现出的鲁棒性和一致性，使其成为安全关键应用中决策的首选。

Dec, 2023

学习最优拟合分类器

本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

Oct, 2021

机器学习中有效不确定性量化的共形预测方法的比较研究

过去几十年，数据分析和机器学习领域的大部分工作都致力于优化预测模型，并取得比现有模型更好的结果。然而，本文指出对于很多应用而言，更加重要的并非准确的预测，而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界，对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且，无需对数据进行参数假设，这一非参数结果在渐近程度上也不必依赖大数定律，使得这个框架成为唯一值得称为 “无分布假设” 的框架。

May, 2024

时空数据不确定性量化的共形方法综述

本文调查了最近的深度学习方面的不确定性量化的研究，特别关注了具有数学特性和广泛适用性的无分布符合预测方法，介绍了相关技术和在时空数据背景下提高校准和效率的方法，并讨论了不确定性量化在安全决策方面的作用。

Sep, 2022

ConU: 具有正确性覆盖保证的大型语言模型中的符合不确定性

通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对 6 个大型语言模型在 4 个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

Jun, 2024