利用 E - 检验统计量增强符合性预测
通过两种新方法 ECP 和 EACP,根据基模型在未标记测试数据上的不确定性调整 CP 中的评分函数,从而仅使用测试域中的未标记数据改进 CP 生成的预测集的质量。通过对许多大规模数据集和神经网络架构进行广泛实验,我们展示了我们的方法相对于现有基准算法的持续改进,并几乎与监督算法的性能相匹配。
Jun, 2024
本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架,提出了一种新的基于概率方法的模型不确定性量化方法,并提供了可靠的边界用于计算不确定度。
Jun, 2023
本研究利用信息论来将符合预测与其他不确定性概念相联系,并证明了三种不同的方法来上界内在不确定性,同时通过符合预测和信息论不等式的组合,实现了两种直接有用的应用:(i)更规范和有效的符合训练目标,从头开始实现机器学习模型的端到端训练,(ii)将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证,并证明了我们的理论结果能够转化为流行的符合预测方法的低效性(平均预测集大小)。
May, 2024
通过建立基础预测器的泛化性能与条件概率预测集成信息量之间的理论连接,本研究推导了一个上界,以便理解条件概率预测集的平均大小对校准数据量、目标可靠性和基础预测器的泛化性能的依赖关系。通过简单的数值回归和分类任务验证了理论洞察的有效性。
Jan, 2024
利用证据一致性预测方法(ECP)为图像分类器生成一致性预测集,通过基于非一致性评分函数,利用目标标签的对数几率值推导出的证据计算非一致性评分函数的组成部分:一致性预测中的不确定性启发式概念、不确定性惊喜度和期望效用,实验评估结果证明,ECP 在生成一致性预测集方面优于三种先进方法,同时保持了对真实标签的覆盖。
Jun, 2024
通过在设定的概率内构建小的预测集合,拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题,引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分,并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集,发现我们的方法在预测集合的平均大小方面明显优于当前方法,同时保持所需的覆盖率。
May, 2024
通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界,我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。
Mar, 2024
本论文将 CP 技术与经典算法稳定性界限相结合,提出了一种置信区间集合,可用单一模型拟合计算,并证明了该方法能够保证精度,避免了数据分割的需求,成功解决了传统方法无法处理连续未知变量 y_n+1 的瓶颈问题。
Dec, 2021