使用符合性 p 值检测异常值
通过利用符合预测的原理,本研究提出了一种新的异常检测框架,命名为交叉符合异常检测,在模型校准方面扩展了先前研究,并展示了计算交叉符合 p 值的方法在统计效率和计算效率上的实用折衷,适用于基准数据集中的不确定性量化异常检测。
Feb, 2024
条件推断是一种基本且多用途的工具,为许多机器学习任务提供无分布保证。我们考虑转导设置,在该设置中,根据 $m$ 个新点的测试样本做出决策,产生 $m$ 个整合 p 值。我们表明它们的联合分布遵循一个 Pólya 陶壶模型,并为它们的经验分布函数建立浓度不等式。
Oct, 2023
我们开发了一种新方法来创建预测集,它结合了符合性方法的灵活性和条件分布 P(Y | X)的估计。我们的方法扩展了现有方法,实现了条件覆盖,这对许多实际应用至关重要。我们提供了非渐近界限,明确依赖于对条件分布的可用估计的质量,使得我们的置信集在数据的局部结构上高度自适应,特别适用于高异方差情况。通过广泛的模拟,我们证明了我们的方法的有效性,显示其在条件覆盖和统计推断的可靠性方面优于现有方法,在各种应用中提高了统计推断的可靠性。
Jul, 2024
本文开发了一种符合性方法,用于计算自适应于倾斜数据的非参数回归预测区间,利用黑盒机器学习算法用直方图估计结果的条件分布,将它们转化为具有近似条件覆盖的最短预测区间,数值实验表明,与最先进的相关方法相比,这些结果在有限样本情况下可以得到较好的表现,并且如果黑盒模型一致,则渐近达到条件覆盖和最优长度。
May, 2021
基于 Pelekis, Ramon 和 Wang 引入的有界随机变量的集中不等式,我们构建了一个有效的 p 值。这项工作的动机是在无分布情境中校准预测算法。在某些区域中,超均匀 p 值比 Hoeffding 和 Bentkus 的替代方案更紧密。尽管我们的动机是在机器学习背景下的校准设置,但本工作中提出的思想在经典统计推断中也很相关。此外,我们比较了一系列用于有界损失的有效 p 值的功效,这些值在先前的文献中提出。
May, 2024
通过引入 Penalized Inverse Probability (PIP) 和其正则化版本 RePIP 的非共形评分方式,该研究提出了一种可以同时优化效率和信息性的算法,通过农业机器人中作物和杂草图像分类任务的玩具示例和实证结果,展示了 PIP-based 共形分类器与其他非共形评分方式相比所表现出的预期行为,并在信息性和效率之间找到了良好的平衡。
Jun, 2024
本文提出了基于顺应性推断的无分布预测推断的一般框架,并通过分析和比较其两个主要变体:完整顺应性推断和分裂顺应性推断以及相关的 jackknife 法,作出了在统计准确度和计算效率之间的不同权衡。与此同时,本文还发展了一种构建有效样本内预测间隔的方法,称为 “排名为一” 的顺应性推断。本文提出的所有提案的实施都可以使用 R 包 “conformalInference” 进行。
Apr, 2016
本文介绍了一种新的预测方法,将 Conformal prediction 和经典的 quantile regression 相结合,使其完全适应异方差性,并且能够在不做分布假设的情况下,建立具有有效覆盖率的预测区间,相比其他 conformal 方法,本文提出的方法具有更高的效率和更短的预测区间。
May, 2019