带有许多类别的类条件拟合预测
本文提出了基于条件概率密度 p(x|y) 而非 p(y|x) 的符合性预测集合(conformal prediction sets)来消除分类模型中的傲慢偏差(hubristic bias),该模型在不确定时会输出空集,能很好地应对对抗攻击(adversarial attacks)。在 ImageNet ILSVRC 数据集和 CelebA、IMDB-Wiki 人脸数据集上以高维卷积神经网络为特征进行的实验结果表明它的性能优秀。
May, 2018
本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法,可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战,且可以和任何分类模型结合使用并保证有效性。
Apr, 2020
本文提出了一种广义的拟合的预测集来解决多可学习参数,通过考虑找到最有效的预测集的约束经验风险最小化问题,从而实现有效的经验覆盖。同时,本文还开发了一种基于梯度的算法来优化这个ERM问题以近似有效的覆盖和最优效率。
Feb, 2022
本文旨在解决当前对于确保错误频率的合规性统计保证,且相应预测集的大小对其实用性至关重要,但预测集大小缺乏有限样本分析和保证的问题,通过量化拆分一致性预测框架下预测集的期望大小来解决此不足,并提供一种实用的方法来表示测试和校准数据的不同可能实现的预期预测集大小。实验结果表明,对于回归和分类问题的现实世界数据集,本文的结果的功效得到了验证。
Jun, 2023
我们提出了一种新的方法,可实现用户指定的错误率下的预测,并在此约束下优化预测集的大小,从而通过有效的医学人工智能模型和人工专家之间的合作,允许在临床决策中进行高效干预和质量检查。
Sep, 2023
该研究开发了新的遵循性预测方法,用于分类任务,可以自动适应标签污染,实现比现有方法更具信息量的预测集,并提供更强的覆盖保证。通过对标签污染下标准遵循性推断所面临的准确理论特征进行精确刻画,并通过新的校准算法实施行动。我们的解决方法灵活,并且可以利用关于标签污染过程的不同建模假设,同时无需关于数据分布或机器学习分类器内部工作的任何知识。通过广泛的模拟实验和对CIFAR-10H图像数据集的对象分类应用来证明了所提出方法的优势。
Sep, 2023
本文关注条件保证的合拟合预测问题,并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测(PLCP)框架。我们在理论上分析了PLCP,并对无限和有限样本大小提供了条件保证。最后,我们在四个真实世界和人工合成数据集上的实验证明了PLCP在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
针对不平衡分类任务的一种新的不确定性量化框架,Rank Calibrated Class-conditional CP(RC3P)算法,通过降低预测集大小以实现类条件覆盖,对于每个类别都具有有效的覆盖保证。
Jun, 2024
研究发展了一种新颖的基于长度优化的一致性预测框架(CPL),能够在不同类别的协变量转移下确保条件有效性,并构建出(接近)最优长度的预测集合,通过广泛的实证评估验证了其在分类、回归和文本相关设置方面相较于最新方法在预测集大小性能方面的优越性。
Jun, 2024