多类别和多标签预测中的有效和验证置信集
本文提出了一种广义的拟合的预测集来解决多可学习参数,通过考虑找到最有效的预测集的约束经验风险最小化问题,从而实现有效的经验覆盖。同时,本文还开发了一种基于梯度的算法来优化这个ERM问题以近似有效的覆盖和最优效率。
Feb, 2022
通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区,再通过 Inductive Venn 预测器进行校准,从而实现对不确定性的量化和计算机分类模型预测集的标记,进而实现最终任务的目标。
May, 2022
本研究探究了针对标签噪声的确定性估计方法——“conformal prediction”的鲁棒性。通过理论证明和实验验证,提出了对于正确覆盖未观测噪声的基准真实标签,构建正确的不确定性集合的可能性和条件,并发现除了在数据分布或噪声源方面存在病态的特殊情况外,纠正标签噪声并不必要。在这种情况下,可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签,而无需直接调整得分或数据稳定性。
Sep, 2022
本文提出了一种称为聚类置信预测的方法,该方法通过聚类类,将具有“相似”信心得分的类聚合在一起,然后在聚类水平上执行置信预测,进行分类问题中的更强的置信度验证, 应用于多分类图像数据集中表现更加优秀。
Jun, 2023
在安全关键的分类任务中,我们提出了一种适用于含有模糊标签的情况的conformal prediction框架,在approximated的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法,并在皮肤病学中患者条件分类的案例研究中进行了实证。
Jul, 2023
提供一种新的方法,用于校准具有局部覆盖保证的回归问题的预测区间,该方法基于训练回归树和随机森林的合规得分创建最粗糙的特征空间划分,适用于各种合规得分和预测设置,且在模拟和实际数据集中表现出比现有基准更优的可扩展性和性能。
Feb, 2024
本文关注条件保证的合拟合预测问题,并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测(PLCP)框架。我们在理论上分析了PLCP,并对无限和有限样本大小提供了条件保证。最后,我们在四个真实世界和人工合成数据集上的实验证明了PLCP在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
针对不平衡分类任务的一种新的不确定性量化框架,Rank Calibrated Class-conditional CP(RC3P)算法,通过降低预测集大小以实现类条件覆盖,对于每个类别都具有有效的覆盖保证。
Jun, 2024
研究发展了一种新颖的基于长度优化的一致性预测框架(CPL),能够在不同类别的协变量转移下确保条件有效性,并构建出(接近)最优长度的预测集合,通过广泛的实证评估验证了其在分类、回归和文本相关设置方面相较于最新方法在预测集大小性能方面的优越性。
Jun, 2024
通过使用适用于对标签顺序进行正确预测的分类模型的排名式评分函数,我们提出了一种新颖的符合性预测方法,该方法能够预测一组可能的标签,并获得相应的置信度得分以捕捉不确定性。我们的方法构建了在实现期望覆盖率的同时管理其大小的预测集合,通过对底层分类器的排名分布进行理论分析,我们提供了符合性预测集合的预期大小的理论分析。通过广泛的实验证明了我们的方法在各种数据集上优于现有技术,提供了可靠的不确定性量化。本文的贡献包括一种新颖的符合性预测方法、理论分析和实证评估,通过实现可靠的不确定性量化,推动了机器学习系统的实际部署。
Jul, 2024