归纳协同预测器的条件有效性
本文研究了使用最大预测效率作为优化目标训练归纳一致预测器(inductive conformal predictor)的方法,将对可用于分类的归纳一致预测器进行了特别关注,并在几个真实数据集上进行了测试,结果表明该方法在大多数情况下相对于基线一致预测器具有更高的预测效率。
May, 2021
探究贝叶斯岭回归在满足标准贝叶斯假设的情况下,与等效算法相比,异步共形预测集有效性的要求是否被满足。结果显示,在这种情况下,渐近共形预测集与岭回归预测区间的差异很小。
Apr, 2014
决策者使用机器学习进行决策时,在预测结果相同的情境下通常会采取相同的行动。符合性预测有助于决策者量化行动的结果不确定性,从而实现更好的风险管理。我们提出了自洽符合性预测,它能够生成既具有 Venn-Abers 校准的预测,又能在模型预测促使的行动条件下保持有效的符合性预测区间。我们的方法可以后期应用于任何黑盒预测模型,为特定行动提供严格的决策保证。数值实验表明我们的方法在区间效率和条件有效性之间取得了平衡。
Feb, 2024
本文介绍了两个计算效率更高的一类回归问题的概率分布预测方法,分别为 “分裂式 conformal 预测系统” 和 “交叉式 conformal 预测系统”;前者更保证准确性,后者更具预测效率,但其有效性仅在排除过度随机化的情况下成立。
Nov, 2019
通过建立基础预测器的泛化性能与条件概率预测集成信息量之间的理论连接,本研究推导了一个上界,以便理解条件概率预测集的平均大小对校准数据量、目标可靠性和基础预测器的泛化性能的依赖关系。通过简单的数值回归和分类任务验证了理论洞察的有效性。
Jan, 2024
我们开发了新的一致推断方法,用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出 LLM 响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题,首先,所述保证并非条件有效;其次,因为评分函数不完善,过滤步骤可能会删除许多有价值和准确的声明,我们通过两种新的一致方法解决了这两个挑战。
Jun, 2024
本文提出了基于特征空间的符合性预测方法,利用深度学习的归纳偏差将该方法扩展到语义特征空间,从理论上证明其在温和假设下优于传统方法,并且结合不仅限于普通的符合性预测算法,还可以与其他自适应符合性预测方法结合,从现有的预测推断 benchmark 以及 ImageNet 分类和 Cityscapes 图像分割等大规模任务的实验中证明了该方法的最佳性能。
Oct, 2022