数据污染下的分割一致性预测
本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型,使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集,通过估计数据漂移量建立了鲁棒性,并在多个基准数据集上进行了实验证明了该方法的重要性。
Aug, 2020
介绍了一种基于本地模型性能的条件密度估计模型的本地conformal方法MD-split ,可用于复杂的现实世界数据设置,用于确定X分区,并与其他本地conformal方法进行比较。
Jul, 2021
本研究探究了针对标签噪声的确定性估计方法——“conformal prediction”的鲁棒性。通过理论证明和实验验证,提出了对于正确覆盖未观测噪声的基准真实标签,构建正确的不确定性集合的可能性和条件,并发现除了在数据分布或噪声源方面存在病态的特殊情况外,纠正标签噪声并不必要。在这种情况下,可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签,而无需直接调整得分或数据稳定性。
Sep, 2022
本文旨在解决当前对于确保错误频率的合规性统计保证,且相应预测集的大小对其实用性至关重要,但预测集大小缺乏有限样本分析和保证的问题,通过量化拆分一致性预测框架下预测集的期望大小来解决此不足,并提供一种实用的方法来表示测试和校准数据的不同可能实现的预期预测集大小。实验结果表明,对于回归和分类问题的现实世界数据集,本文的结果的功效得到了验证。
Jun, 2023
该研究论文研究了适用于高概率包含真实标签的预测集的不确定性量化技术-保形预测。通过实验证明,使用事后校准方法和较小的温度得到的预测集有改进校准,而事后校准方法和较大的温度得到的预测集有改进保形预测性能。论文提出了一种新的$ extbf{保形温度缩放}$(ConfTS)方法,通过阈值和非规范得分之间的差距调整目标,使ConfTS的新目标朝向满足$ extit{边际覆盖}$的最优集合优化温度值。实验表明我们的方法能够有效改进广泛使用的保形预测方法。
Feb, 2024
本文关注条件保证的合拟合预测问题,并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测(PLCP)框架。我们在理论上分析了PLCP,并对无限和有限样本大小提供了条件保证。最后,我们在四个真实世界和人工合成数据集上的实验证明了PLCP在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
机器学习系统中风险量化与控制的研究,集中在处理ML系统收集自身数据时产生的数据分布变化问题,通过扩展conformal prediction理论以适应任意数据分布,并提出了针对特定数据分布的可行算法,以解决这一挑战。
May, 2024
利用一种名为CCR的新方法,通过使用模型输出的一系列符合预测间隔来建立模型参数的置信区间,创新地解决了模型参数置信区间构建中的挑战,并在有限样本情景下提供了覆盖保证。
May, 2024
我们开发了一种方法,用于生成预测集,其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测,这是一种强大的框架,用于构建在独立同分布假设下有效的预测集。重要的是,简单地应用符合性预测在这种情况下不能提供可靠的预测,因为由损坏引起的分布偏移。为了考虑到分布偏移,我们假设可以访问特权信息(PI)。特权信息被形式化为解释分布偏移的附加特征,然而,它们仅在训练期间可用,在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题,并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明,我们的方法实现了有效的覆盖率,并构建了比现有方法更具信息性的预测,这些方法不受理论保证支持。
Jun, 2024