本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法,可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战,且可以和任何分类模型结合使用并保证有效性。
Apr, 2020
本文提出了一种自适应的线上学习方法 - 自适应符合推断方法,该方法结合了预测集和符合推断的思想,能够在任何黑箱模型中实现长时间内预期的覆盖概率,从而解决了数据变化扰动的问题。
Jun, 2021
本文提出了一种称为聚类置信预测的方法,该方法通过聚类类,将具有“相似”信心得分的类聚合在一起,然后在聚类水平上执行置信预测,进行分类问题中的更强的置信度验证, 应用于多分类图像数据集中表现更加优秀。
Jun, 2023
研究发展了一种新颖的基于长度优化的一致性预测框架(CPL),能够在不同类别的协变量转移下确保条件有效性,并构建出(接近)最优长度的预测集合,通过广泛的实证评估验证了其在分类、回归和文本相关设置方面相较于最新方法在预测集大小性能方面的优越性。
Jun, 2024
我们开发了一种新方法来创建预测集,它结合了符合性方法的灵活性和条件分布P(Y | X)的估计。我们的方法扩展了现有方法,实现了条件覆盖,这对许多实际应用至关重要。我们提供了非渐近界限,明确依赖于对条件分布的可用估计的质量,使得我们的置信集在数据的局部结构上高度自适应,特别适用于高异方差情况。通过广泛的模拟,我们证明了我们的方法的有效性,显示其在条件覆盖和统计推断的可靠性方面优于现有方法,在各种应用中提高了统计推断的可靠性。
Jul, 2024
本文研究了在生成性人工智能等应用中的合规预测问题。我们提出了一种围绕黑箱算法的自适应校准方法,通过自适应划分预测空间并按组分段校准来实现。该方法显著提高了不确定性量化的准确性,尤其在处理实际分类应用(如皮肤疾病诊断和立法者预测)时,可实现不确定性区间的显著局部紧缩。
Aug, 2024
本研究解决了传统保形预测在时间序列及其他结构化数据中因数据生成分布不具可交换性而失效的问题。提出的适应性保形推断(ACI)方法虽然声称使用保形预测,但实际上也能利用更简单的置信预测器进行有效操作。研究发现,置信预测器在某些情况下的性能与保形预测器相当甚至更优,提示未来研究需探讨不同方法的适用场景。
Sep, 2024
该研究解决了保形预测在时间序列和结构化数据中的有效性问题,提出自适应保形推断(ACI)作为一种动态调整显著性水平的方法。研究表明,尽管ACI强调保形预测,但实际上更灵活地适用于信心预测,并发现信心预测在某些情况下表现不逊色于保形预测。
本研究解决了一致性预测方法在机器学习模型不确定性量化中的不足,特别是预测集输出缺乏可操作性的问题。研究通过实验表明,提供预测集会导致决策的不公平性增加,尤其是在满足公平性标准的情况下。因此,本文提出平衡各组间集合大小作为标准,以实现更公正的结果。
Oct, 2024
本研究解决了在动态环境下数据分布变化导致的预测集效率不稳定的问题。我们提出了一种新颖的自适应一致预测框架,通过实时从多个候选模型中选择生成预测集的模型,显著提升了预测集的效率,同时保持了有效的覆盖率。实验结果表明,该方法在真实和合成数据集上均优于其他替代方法。
Nov, 2024