使用一致性预测的图像分类器的不确定性集合
本文提出了基于条件概率密度 p(x|y) 而非 p(y|x) 的符合性预测集合(conformal prediction sets)来消除分类模型中的傲慢偏差(hubristic bias),该模型在不确定时会输出空集,能很好地应对对抗攻击(adversarial attacks)。在 ImageNet ILSVRC 数据集和 CelebA、IMDB-Wiki 人脸数据集上以高维卷积神经网络为特征进行的实验结果表明它的性能优秀。
May, 2018
提出一种基于概率模型的方法来对大规模图像分类数据集中的标签噪声进行建模并进行准确性优化,该方法通过在神经网络分类器的最终隐藏层上放置多变量正态分布的潜在变量来建立噪声的协方差矩阵,并且在多个基准测试数据集上表现出显著提高的准确性。
May, 2021
本文提出了一种通过测试时混合数据增强方法(TTMA)来进行深度学习图像分类不确定性估计的方法。基于混合增强方法,我们引入了TTMA数据不确定性(TTMA-DU)和TTMA类别相关不确定性(TTMA-CDU),分别可以提供更加准确的不确定性估计和深入的数据分析,通过在ISIC-18和CIFAR-100数据集上的实验验证了所提出方法的有效性。
Dec, 2022
本文考察523个现有的深度图像分类器在选择性预测和不确定性估计性能方面的表现,发现蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力,ViT模型在不确定性估计方面的表现超过其他模型。
Feb, 2023
本研究提出了一种名为邻域适应序列预测(NCP)的新算法,通过利用神经网络的学习表示来识别给定测试输入的k个最近邻校准样例,并根据它们的距离分配重要性权重,创建自适应预测集,从而提高使用CP进行深度分类器的不确定性量化的效率。
Mar, 2023
在高风险领域中部署深度神经网络时,由于缺乏可解释性,不确定性量化变得具有挑战性。本文通过大规模预注册实验,比较了使用符合性预测集合与Top-1和Top-k预测展示相比在AI辅助图像标注中表现的优势,并发现对易任务来说,预测集合与Top-1和Top-k展示的准确性相当或略少,但在标记超出分布范围的图像时,特别是当集合大小较小时,预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战,并提供了将其纳入实际决策制定的启示。
Jan, 2024
我们提出了一种后续处理、计算轻量级的方法来量化语义图像分割的预测不确定性。我们的方法使用合拢预测生成统计上有效的预测集,以预定义的置信水平保证包含地面真实分割掩模。我们介绍了一种基于热图的合拢化预测的新型可视化技术,并提供了评估其实证有效性的度量标准。我们在著名的基准数据集和图像分割预测模型上展示了我们方法的有效性,并提供了实用的见解。
Apr, 2024
利用证据一致性预测方法(ECP)为图像分类器生成一致性预测集,通过基于非一致性评分函数,利用目标标签的对数几率值推导出的证据计算非一致性评分函数的组成部分:一致性预测中的不确定性启发式概念、不确定性惊喜度和期望效用,实验评估结果证明,ECP在生成一致性预测集方面优于三种先进方法,同时保持了对真实标签的覆盖。
Jun, 2024
该研究解决了医疗影像分类器在高预测准确率下量化不确定性的问题,提出了一种算法,可以修改任何分类器以产生包含真实标签的预测集。实验结果表明,该方法在保持所需覆盖率的同时,显著减少了预测集的平均大小,优于现有方法。
Aug, 2024
本研究解决了在使用预训练潜在表征时缺乏不确定性估计的问题。通过将不确定性估计直接添加到潜在表征向量中,提出了基于概率和决策理论的新方法,并提供了一个不确定性感知的表征学习基准,验证了该方法的有效性。本研究不仅加深了对潜在变量不确定性的理论理解,还为今后研究者提供了易于获取的不确定性量化工具,推动了安全可靠的机器学习进步。
Aug, 2024