训练条件覆盖界限对于均匀稳定学习算法的影响
本文提出了新型一致性得分,结合适用于分类问题的定制化 Conformal inference、交叉验证、Jackknife 等方法,在保证边际覆盖率的前提下,也可以应对复杂的数据分布,其在合成数据和真实数据上获得实际价值和统计优势。
Jun, 2020
通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界,我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。
Mar, 2024
本文考虑面向分布无关的预测推断问题,目标是生成有条件而非边缘的预测覆盖保证。我们旨在探索边缘覆盖保证的实际问题,并研究一些能够缓解一些实际关注的条件覆盖性质松弛类型,同时仍能在分布无关的环境下实现。
Mar, 2019
本文提出了一种新的自适应方法,基于重新缩放符合规范的分数与本地分数分布的估计,解决了不均匀覆盖率的问题,从而在不破坏校准检验可交换性的情况下利用校准数据进行符合规范的评分。该方法提供了一种新型的预测间隔,具有全局覆盖率保证,并且在低数据情况下表现更优,特别适用于需要准确量化不确定因素的实际应用,如医疗保健领域。
May, 2023
本文开发了一种符合性方法,用于计算自适应于倾斜数据的非参数回归预测区间,利用黑盒机器学习算法用直方图估计结果的条件分布,将它们转化为具有近似条件覆盖的最短预测区间,数值实验表明,与最先进的相关方法相比,这些结果在有限样本情况下可以得到较好的表现,并且如果黑盒模型一致,则渐近达到条件覆盖和最优长度。
May, 2021
本文关注条件保证的合拟合预测问题,并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测(PLCP)框架。我们在理论上分析了 PLCP,并对无限和有限样本大小提供了条件保证。最后,我们在四个真实世界和人工合成数据集上的实验证明了 PLCP 在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
我们开发了一种新方法来创建预测集,它结合了符合性方法的灵活性和条件分布 P(Y | X)的估计。我们的方法扩展了现有方法,实现了条件覆盖,这对许多实际应用至关重要。我们提供了非渐近界限,明确依赖于对条件分布的可用估计的质量,使得我们的置信集在数据的局部结构上高度自适应,特别适用于高异方差情况。通过广泛的模拟,我们证明了我们的方法的有效性,显示其在条件覆盖和统计推断的可靠性方面优于现有方法,在各种应用中提高了统计推断的可靠性。
Jul, 2024
机器学习系统中风险量化与控制的研究,集中在处理 ML 系统收集自身数据时产生的数据分布变化问题,通过扩展 conformal prediction 理论以适应任意数据分布,并提出了针对特定数据分布的可行算法,以解决这一挑战。
May, 2024
本文介绍了两种基于条件密度估计器的协变方法,它们不依赖于有关于目标变量和特征之间依赖关系的强假设,以获得渐近条件覆盖方法:Dist-split 和 CD-split。在广泛的模拟场景中,我们的方法具有更好的条件覆盖控制和比以前提出的方法更小的长度。
Oct, 2019