交叉验证合规风险控制
本文扩展了符合预测的范畴,使其可以控制任何单调损失函数的期望值,并提出了符合风险控制过程。从计算机视觉和自然语言处理方面的实例证明了我们算法在限制误差率,图距离和标牌级别 F1 得分方面的应用。
Aug, 2022
利用一种名为 CCR 的新方法,通过使用模型输出的一系列符合预测间隔来建立模型参数的置信区间,创新地解决了模型参数置信区间构建中的挑战,并在有限样本情景下提供了覆盖保证。
May, 2024
在复杂动态和分叉轨迹的环境中,我们提出了一种新的后期校准方法 PTS-CRC,通过在任何预先设计的概率预测器的基础上生成可靠的误差范围,并且可以实现超出覆盖率的可靠性定义,用于解决预测与控制问题,特别是关于网络通信的使用案例。
Oct, 2023
使用最新的神经网络验证方法,基于 VRCP(可验证鲁棒性适应预测)框架,本文提出了一种新的方法,用于恢复在遭受对抗攻击时的预测覆盖率保证,并支持任意范数的扰动和回归任务,实验结果表明,在图像分类和强化学习环境的回归任务中,VRCP 方法达到了超过标称覆盖率的结果,并且比目前最先进的方法更高效且信息量更丰富。
May, 2024
我们扩展了标准的符合预测方法,开发了几种符合风险控制方法,并应用于不同的学习问题。本文中,我们致力于控制序列分类任务中的符合风险,该任务在许多实际问题中具有广泛应用。为此,我们首先在符合风险控制框架中对序列分类任务进行了规范,并提供了理论风险边界控制方法。然后,我们提出了两种特别设计用于序列分类任务的损失函数,并开发了相应的算法来确定每种情况的预测集,以便将其风险控制在所需的水平。我们展示了我们提出的方法的有效性,并分析了两种风险在三个不同数据集上的差异,包括模拟数据集、UTKFace 数据集和糖尿病视网膜病变检测数据集。
May, 2024
本论文提出一种非交换可行的符号风险控制框架,用于控制数据不可交换情况下的任意单调损失函数的期望值,并通过在测试示例中基于其统计相似性的权重选择,使得我们的框架在存在变化点、时间序列或其他形式的分布漂移时更有用。实验表明我们的方法的实用性。
Oct, 2023
我们提出了一种新的方法,可实现用户指定的错误率下的预测,并在此约束下优化预测集的大小,从而通过有效的医学人工智能模型和人工专家之间的合作,允许在临床决策中进行高效干预和质量检查。
Sep, 2023
针对不平衡分类任务的一种新的不确定性量化框架,Rank Calibrated Class-conditional CP (RC3P) 算法,通过降低预测集大小以实现类条件覆盖,对于每个类别都具有有效的覆盖保证。
Jun, 2024
我们通过对未知随机动力系统的单个时间相关数据轨迹进行风险控制预测集(RCPS)性能的研究,使用封锁技术展示了数据遵循渐进稳定性和收缩性动态时,RCPS 获得类似于独立同分布情况下的性能保证;接着,我们使用解耦技术来描述 RCPS 性能保证在数据生成过程偏离稳定性和收缩性时的优雅退化;最后,我们讨论这些工具如何用于统一在线和离线形式预测算法的分析,目前这些算法的分析工具差异较大。
Jun, 2024