无标签条件下适应分布偏移的适应性符合性预测

Jun, 2024

无标签条件下适应分布偏移的适应性符合性预测

Adapting Conformal Prediction to Distribution Shifts Without Labels

Kevin Kasa, Zhiyu Zhang, Heng Yang, Graham W. Taylor

TL;DR通过两种新方法 ECP 和 EACP，根据基模型在未标记测试数据上的不确定性调整 CP 中的评分函数，从而仅使用测试域中的未标记数据改进 CP 生成的预测集的质量。通过对许多大规模数据集和神经网络架构进行广泛实验，我们展示了我们的方法相对于现有基准算法的持续改进，并几乎与监督算法的性能相匹配。

Abstract

conformal prediction (CP) enables machine learning models to output prediction sets with guaranteed coverage rate, assuming exchangeable data. Unfortunately, the exchangeability assumption is frequently violated

conformal prediction exchangeable data distribution shifts unlabeled data neural network architectures

发现论文，激发创造

通过基于物理信息的结构因果模型实现鲁棒的分布偏移下的符合性预测

通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界，我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。

Mar, 2024

利用 E - 检验统计量增强符合性预测

使用 e 检验统计量引入 BB 预测器来增强符合性预测的效果，从而生成可靠的预测区间。

Mar, 2024

基于符合预测的深度分类器的证据不确定性集合

利用证据一致性预测方法（ECP）为图像分类器生成一致性预测集，通过基于非一致性评分函数，利用目标标签的对数几率值推导出的证据计算非一致性评分函数的组成部分：一致性预测中的不确定性启发式概念、不确定性惊喜度和期望效用，实验评估结果证明，ECP 在生成一致性预测集方面优于三种先进方法，同时保持了对真实标签的覆盖。

Jun, 2024

分布偏移下的自适应符合推断

本文提出了一种自适应的线上学习方法 - 自适应符合推断方法，该方法结合了预测集和符合推断的思想，能够在任何黑箱模型中实现长时间内预期的覆盖概率，从而解决了数据变化扰动的问题。

Jun, 2021

基于回归与分类的一致性预测

将回归转化为分类问题，并使用分类的合作预测，以获取回归的合作预测集。

Apr, 2024

一种对标签噪声具有鲁棒性的一致性预测得分

通过在设定的概率内构建小的预测集合，拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题，引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分，并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集，发现我们的方法在预测集合的平均大小方面明显优于当前方法，同时保持所需的覆盖率。

May, 2024

数据异质性下的高效符合性预测

一种对数据不可交换性建立了有效的置信区间的新方法，并在联邦学习中的数据异质性下构建了个性化预测集合，通过实验验证了该方法的有效性。

Dec, 2023

概率鲁棒一致预测

概率鲁棒性调和的效果超过了标准的鲁棒性分类器和对抗性鲁棒性分类器，通过提供候选标签预测集合并对数据和扰动设定两个平行阈值，将概率鲁棒性调和引入到机器学习的不确定性量化框架中。

Jul, 2023

协变量转移下的一致性预测

本文提出拓展 Conformal Prediction 方法，可计算在测试和训练协变量分布不同的情况下的无分布预测区间，同时在数据满足一定加权交换性的情况下，拓展还可以应用于其他设置，如潜在变量和缺失数据问题。

Apr, 2019

学习特征的符合预测

本文关注条件保证的合拟合预测问题，并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测（PLCP）框架。我们在理论上分析了 PLCP，并对无限和有限样本大小提供了条件保证。最后，我们在四个真实世界和人工合成数据集上的实验证明了 PLCP 在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。

Apr, 2024