单轨迹形式预测
在黑盒机器学习模型中严格确保关键风险度量的安全性对于提供模型行为的保证非常重要。本文在 Bates 等人(JACM '24)的基础上引入了风险控制预测集(RCPS)的概念,用于生成统计上保证低风险的机器学习模型的预测集。我们的方法将这个概念扩展到顺序设置,即使在数据被自适应收集的情况下,我们也能提供保证,并确保风险保证在所有时间步骤同时成立。此外,我们提出了一个框架,用于构建用于主动标记的 RCPS,即允许使用选择是否查询每个接收到的数据点的真实标签的标记策略,并确保标签查询的预期比例低于预定的标签预算。我们还描述了如何使用预测器(即我们为其提供风险控制保证的机器学习模型)来进一步改善我们的 RCPS 的效用,通过对协变量的条件风险进行估计。我们对于固定标签预算下标签策略和预测器的最优选择进行了表征,并展示了一个后悔结果,将最优标记策略和预测器的估计误差与支撑我们的 RCPS 的财富过程联系起来。最后,我们提出了一种实际的标记策略形成方法,并在模拟和真实数据上实证表明我们的标记策略使用更少的标签获得更高的效用,相比于天真的基准标记策略(如标记所有点、随机标记点)。
Jun, 2024
该研究提出了一种名为 RSCP + 的新框架,用于在评估中提供可靠的鲁棒性保证,同时提出了两种新的方法 PTT 和 RCT,以减少预测集大小并提供实际的鲁棒性保证。
Apr, 2024
本论文将 CP 技术与经典算法稳定性界限相结合,提出了一种置信区间集合,可用单一模型拟合计算,并证明了该方法能够保证精度,避免了数据分割的需求,成功解决了传统方法无法处理连续未知变量 y_n+1 的瓶颈问题。
Dec, 2021
在复杂动态和分叉轨迹的环境中,我们提出了一种新的后期校准方法 PTS-CRC,通过在任何预先设计的概率预测器的基础上生成可靠的误差范围,并且可以实现超出覆盖率的可靠性定义,用于解决预测与控制问题,特别是关于网络通信的使用案例。
Oct, 2023
我们研究了时间序列预测的不确定性量化问题,旨在提供易于使用且具有形式保证的算法。我们提出的算法基于符合性预测和控制理论的思想,能够在在线环境中前瞻性地模拟符合性得分,并能适应由季节性、趋势性和一般分布变化引起的系统误差。我们的理论简化和加强了现有的在线符合性预测分析。在美国州级 COVID-19 死亡人数提前四周预测的实验中,我们与官方 CDC 通讯中使用的集合预测方法相比,覆盖范围有所改善。我们还使用自回归、Theta、Prophet 和 Transformer 模型对电力需求、市场回报和温度进行了实验预测。我们提供了一个可扩展的代码库,用于测试我们的方法以及集成新算法、数据集和预测规则。
Jul, 2023
提出了一种名为 MultiDimSPCI 的顺序 CP 方法,其基于多元响应构建预测区域,特别适用于非可交换的多元时间序列,实验证明 MultiDimSPCI 在广泛的多元时间序列上保持有效覆盖,并产生比 CP 和非 CP 基线更小的预测区域。
Mar, 2024
本文介绍了一种新的符合方法,用于生成能够以足够高的概率覆盖新的随机轨迹整个路径的同时预测带。在需要可靠的不确定性估计的运动规划应用中,我们结合了在线符合单个和多个时间序列的不同技术,以及解决回归异方差性的思想。这种解决方案既是有原则的,提供了精确的有限样本保证,又是有效的,通常比先前方法提供更多信息的预测。
Feb, 2024
使用最新的神经网络验证方法,基于 VRCP(可验证鲁棒性适应预测)框架,本文提出了一种新的方法,用于恢复在遭受对抗攻击时的预测覆盖率保证,并支持任意范数的扰动和回归任务,实验结果表明,在图像分类和强化学习环境的回归任务中,VRCP 方法达到了超过标称覆盖率的结果,并且比目前最先进的方法更高效且信息量更丰富。
May, 2024
该论文提出了一种适应协变量偏移的加权一致性预测系统(WCPS),通过利用训练和测试协变量分布之间的似然比,构建非参数预测分布,并通过模拟实验证明了其在协变量偏移下的概率校准性。
Apr, 2024
通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界,我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。
Mar, 2024