时序相关的符合性预测集
本文提出了一种广义的拟合的预测集来解决多可学习参数,通过考虑找到最有效的预测集的约束经验风险最小化问题,从而实现有效的经验覆盖。同时,本文还开发了一种基于梯度的算法来优化这个 ERM 问题以近似有效的覆盖和最优效率。
Feb, 2022
通过理论和实验,本文证明了无视概率值可以减轻在 conformal prediction 中概率值失配所导致的大预测集的不良影响。然后,提出了一种名为 “Sorted Adaptive prediction sets” (SAPS) 的新算法,其丢弃除最大 softmax 概率以外的所有概率值,以最小化非符合度分数对概率值的依赖,同时保留不确定性信息,从而生成小型集合并传达逐个实例的不确定性。在理论上,提供了 SAPS 的有限样本覆盖保证,并证明了 SAPS 的预期集合大小始终小于 APS。广泛的实验验证了 SAPS 不仅减小了预测集,还显著提高了预测集的条件覆盖率和适应性。
Oct, 2023
提出了一种名为 MultiDimSPCI 的顺序 CP 方法,其基于多元响应构建预测区域,特别适用于非可交换的多元时间序列,实验证明 MultiDimSPCI 在广泛的多元时间序列上保持有效覆盖,并产生比 CP 和非 CP 基线更小的预测区域。
Mar, 2024
利用证据一致性预测方法(ECP)为图像分类器生成一致性预测集,通过基于非一致性评分函数,利用目标标签的对数几率值推导出的证据计算非一致性评分函数的组成部分:一致性预测中的不确定性启发式概念、不确定性惊喜度和期望效用,实验评估结果证明,ECP 在生成一致性预测集方面优于三种先进方法,同时保持了对真实标签的覆盖。
Jun, 2024
在这项研究中,我们通过进行一项预先注册的随机对照试验,提供给人类被试一些确定度集合,从而研究了确定度集合对人类决策的辅助作用。结果表明,使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。
Jan, 2024
本文旨在解决当前对于确保错误频率的合规性统计保证,且相应预测集的大小对其实用性至关重要,但预测集大小缺乏有限样本分析和保证的问题,通过量化拆分一致性预测框架下预测集的期望大小来解决此不足,并提供一种实用的方法来表示测试和校准数据的不同可能实现的预期预测集大小。实验结果表明,对于回归和分类问题的现实世界数据集,本文的结果的功效得到了验证。
Jun, 2023
我们开发了一种新方法来创建预测集,它结合了符合性方法的灵活性和条件分布 P(Y | X)的估计。我们的方法扩展了现有方法,实现了条件覆盖,这对许多实际应用至关重要。我们提供了非渐近界限,明确依赖于对条件分布的可用估计的质量,使得我们的置信集在数据的局部结构上高度自适应,特别适用于高异方差情况。通过广泛的模拟,我们证明了我们的方法的有效性,显示其在条件覆盖和统计推断的可靠性方面优于现有方法,在各种应用中提高了统计推断的可靠性。
Jul, 2024
研究在线情况下的不确定性量化问题,提出新的自适应后悔最小化算法用于在线共形预测,证明了该方法实现了近似最优的自适应后悔和适当的预测覆盖,同时在时间序列预测和图像分类等实际任务上对现有方法具有明显的优势。
Feb, 2023
我们通过对未知随机动力系统的单个时间相关数据轨迹进行风险控制预测集(RCPS)性能的研究,使用封锁技术展示了数据遵循渐进稳定性和收缩性动态时,RCPS 获得类似于独立同分布情况下的性能保证;接着,我们使用解耦技术来描述 RCPS 性能保证在数据生成过程偏离稳定性和收缩性时的优雅退化;最后,我们讨论这些工具如何用于统一在线和离线形式预测算法的分析,目前这些算法的分析工具差异较大。
Jun, 2024