学习特征的符合预测
介绍了一种基于本地模型性能的条件密度估计模型的本地conformal方法MD-split ,可用于复杂的现实世界数据设置,用于确定X分区,并与其他本地conformal方法进行比较。
Jul, 2021
本文提出了一种广义的拟合的预测集来解决多可学习参数,通过考虑找到最有效的预测集的约束经验风险最小化问题,从而实现有效的经验覆盖。同时,本文还开发了一种基于梯度的算法来优化这个ERM问题以近似有效的覆盖和最优效率。
Feb, 2022
本文提出了一种称为聚类置信预测的方法,该方法通过聚类类,将具有“相似”信心得分的类聚合在一起,然后在聚类水平上执行置信预测,进行分类问题中的更强的置信度验证, 应用于多分类图像数据集中表现更加优秀。
Jun, 2023
概率鲁棒性调和的效果超过了标准的鲁棒性分类器和对抗性鲁棒性分类器,通过提供候选标签预测集合并对数据和扰动设定两个平行阈值,将概率鲁棒性调和引入到机器学习的不确定性量化框架中。
Jul, 2023
提供一种新的方法,用于校准具有局部覆盖保证的回归问题的预测区间,该方法基于训练回归树和随机森林的合规得分创建最粗糙的特征空间划分,适用于各种合规得分和预测设置,且在模拟和实际数据集中表现出比现有基准更优的可扩展性和性能。
Feb, 2024
机器学习系统中风险量化与控制的研究,集中在处理ML系统收集自身数据时产生的数据分布变化问题,通过扩展conformal prediction理论以适应任意数据分布,并提出了针对特定数据分布的可行算法,以解决这一挑战。
May, 2024
我们开发了一种方法,用于生成预测集,其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测,这是一种强大的框架,用于构建在独立同分布假设下有效的预测集。重要的是,简单地应用符合性预测在这种情况下不能提供可靠的预测,因为由损坏引起的分布偏移。为了考虑到分布偏移,我们假设可以访问特权信息(PI)。特权信息被形式化为解释分布偏移的附加特征,然而,它们仅在训练期间可用,在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题,并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明,我们的方法实现了有效的覆盖率,并构建了比现有方法更具信息性的预测,这些方法不受理论保证支持。
Jun, 2024
研究发展了一种新颖的基于长度优化的一致性预测框架(CPL),能够在不同类别的协变量转移下确保条件有效性,并构建出(接近)最优长度的预测集合,通过广泛的实证评估验证了其在分类、回归和文本相关设置方面相较于最新方法在预测集大小性能方面的优越性。
Jun, 2024
我们开发了一种新方法来创建预测集,它结合了符合性方法的灵活性和条件分布P(Y | X)的估计。我们的方法扩展了现有方法,实现了条件覆盖,这对许多实际应用至关重要。我们提供了非渐近界限,明确依赖于对条件分布的可用估计的质量,使得我们的置信集在数据的局部结构上高度自适应,特别适用于高异方差情况。通过广泛的模拟,我们证明了我们的方法的有效性,显示其在条件覆盖和统计推断的可靠性方面优于现有方法,在各种应用中提高了统计推断的可靠性。
Jul, 2024
本研究解决了在复杂分布和有限样本情况下,概率顺应预测(PCP)覆盖效率不足的问题。作者提出了一种新颖的PCP框架,通过向量化非顺应性分数并优化预测集形状,显著提高了效率。实验表明,该方法在合成和真实数据集上均表现出色,尤其适合高风险应用。
Oct, 2024