深度分类器的校准和符合预测
该研究论文研究了适用于高概率包含真实标签的预测集的不确定性量化技术 - 保形预测。通过实验证明,使用事后校准方法和较小的温度得到的预测集有改进校准,而事后校准方法和较大的温度得到的预测集有改进保形预测性能。论文提出了一种新的 $ extbf {保形温度缩放}$(ConfTS)方法,通过阈值和非规范得分之间的差距调整目标,使 ConfTS 的新目标朝向满足 $ extit {边际覆盖}$ 的最优集合优化温度值。实验表明我们的方法能够有效改进广泛使用的保形预测方法。
Feb, 2024
我们提出了一种原生的多类别校准方法,适用于来自任何模型类的分类器,来源于狄利克雷分布并推广了来自二元分类的贝塔校准方法。“通过实验,证明改进了概率预测。
Oct, 2019
基于构建有效的置信区间的比例估计后验概率分布的缩放参数的最新研究成果,我们的研究探讨了将温度参数纳入基于 CP 框架的贝叶斯 GNN 中的优势,并通过实验证明了导致更高效的预测集的温度存在,同时分析了导致非效率的因素,并提供了有关 CP 性能和模型校准之间关系的有价值见解。
Oct, 2023
通过在设定的概率内构建小的预测集合,拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题,引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分,并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集,发现我们的方法在预测集合的平均大小方面明显优于当前方法,同时保持所需的覆盖率。
May, 2024
本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架,提出了一种新的基于概率方法的模型不确定性量化方法,并提供了可靠的边界用于计算不确定度。
Jun, 2023
本研究提出了一种名为邻域适应序列预测(NCP)的新算法,通过利用神经网络的学习表示来识别给定测试输入的 k 个最近邻校准样例,并根据它们的距离分配重要性权重,创建自适应预测集,从而提高使用 CP 进行深度分类器的不确定性量化的效率。
Mar, 2023
本文研究了深度神经网络模型校准方面的现有问题,并发现这类模型存在大量 “几乎确定” 置信度,导致常常过于自信。同时,文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。
Jun, 2023
通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区,再通过 Inductive Venn 预测器进行校准,从而实现对不确定性的量化和计算机分类模型预测集的标记,进而实现最终任务的目标。
May, 2022