通过神经模型逼近条件覆盖率和校准性
本文介绍了两种基于条件密度估计器的协变方法,它们不依赖于有关于目标变量和特征之间依赖关系的强假设,以获得渐近条件覆盖方法:Dist-split 和 CD-split。在广泛的模拟场景中,我们的方法具有更好的条件覆盖控制和比以前提出的方法更小的长度。
Oct, 2019
本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法,可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战,且可以和任何分类模型结合使用并保证有效性。
Apr, 2020
该研究提出了一种新颖的conformal prediction(CP)方法,通过找到一组有前途的预测候选项而不是单个预测,以适合许多开放式分类任务,实现包含正确答案的高概率且适用于自然语言处理和药物发现等多个应用领域,同时实现降低预测集的大小和费用摊销等效果。
Jul, 2020
在监督学习中,评估标签质量成为一个尚未解决的研究问题。本文提出了一种替代路径,使用非参数逻辑回归模型构建基于污染标签噪声的假设检验,相比传统的参数方法具有更强的适应性和较少的模型设定问题。
Dec, 2023
我们从一致稳定性的角度研究全面稳定、杰克刀加和CV+预测区域的训练条件覆盖界限,这在具有凸正则化的再现核希尔伯特空间上的经验风险最小化中可靠,我们通过对(估计的)预测函数的集中性论证得出有限维模型的覆盖界限,并将其与岭回归下的现有界限进行比较。
Apr, 2024
本文关注条件保证的合拟合预测问题,并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测(PLCP)框架。我们在理论上分析了PLCP,并对无限和有限样本大小提供了条件保证。最后,我们在四个真实世界和人工合成数据集上的实验证明了PLCP在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
针对不平衡分类任务的一种新的不确定性量化框架,Rank Calibrated Class-conditional CP(RC3P)算法,通过降低预测集大小以实现类条件覆盖,对于每个类别都具有有效的覆盖保证。
Jun, 2024
我们开发了新的一致推断方法,用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出LLM响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题,首先,所述保证并非条件有效;其次,因为评分函数不完善,过滤步骤可能会删除许多有价值和准确的声明,我们通过两种新的一致方法解决了这两个挑战。
Jun, 2024
研究发展了一种新颖的基于长度优化的一致性预测框架(CPL),能够在不同类别的协变量转移下确保条件有效性,并构建出(接近)最优长度的预测集合,通过广泛的实证评估验证了其在分类、回归和文本相关设置方面相较于最新方法在预测集大小性能方面的优越性。
Jun, 2024
我们开发了一种新方法来创建预测集,它结合了符合性方法的灵活性和条件分布P(Y | X)的估计。我们的方法扩展了现有方法,实现了条件覆盖,这对许多实际应用至关重要。我们提供了非渐近界限,明确依赖于对条件分布的可用估计的质量,使得我们的置信集在数据的局部结构上高度自适应,特别适用于高异方差情况。通过广泛的模拟,我们证明了我们的方法的有效性,显示其在条件覆盖和统计推断的可靠性方面优于现有方法,在各种应用中提高了统计推断的可靠性。
Jul, 2024