置信度预测中的长度优化
本文关注条件保证的合拟合预测问题,并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测(PLCP)框架。我们在理论上分析了 PLCP,并对无限和有限样本大小提供了条件保证。最后,我们在四个真实世界和人工合成数据集上的实验证明了 PLCP 在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
本研究利用信息论来将符合预测与其他不确定性概念相联系,并证明了三种不同的方法来上界内在不确定性,同时通过符合预测和信息论不等式的组合,实现了两种直接有用的应用:(i)更规范和有效的符合训练目标,从头开始实现机器学习模型的端到端训练,(ii)将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证,并证明了我们的理论结果能够转化为流行的符合预测方法的低效性(平均预测集大小)。
May, 2024
本论文将 CP 技术与经典算法稳定性界限相结合,提出了一种置信区间集合,可用单一模型拟合计算,并证明了该方法能够保证精度,避免了数据分割的需求,成功解决了传统方法无法处理连续未知变量 y_n+1 的瓶颈问题。
Dec, 2021
通过建立基础预测器的泛化性能与条件概率预测集成信息量之间的理论连接,本研究推导了一个上界,以便理解条件概率预测集的平均大小对校准数据量、目标可靠性和基础预测器的泛化性能的依赖关系。通过简单的数值回归和分类任务验证了理论洞察的有效性。
Jan, 2024
本文旨在解决当前对于确保错误频率的合规性统计保证,且相应预测集的大小对其实用性至关重要,但预测集大小缺乏有限样本分析和保证的问题,通过量化拆分一致性预测框架下预测集的期望大小来解决此不足,并提供一种实用的方法来表示测试和校准数据的不同可能实现的预期预测集大小。实验结果表明,对于回归和分类问题的现实世界数据集,本文的结果的功效得到了验证。
Jun, 2023
提出了基于优化的方法,将预测误差参数化处理以减小保守性,扩展了应用 Conformal prediction 算法于使用学习器的时间序列预测模型的应用场景,并且在行人轨迹预测方面证明了其有效性。
Apr, 2023
Longitudinal Predictive Conformal Inference (LPCI) 是一种新颖的无分布预测算法,通过建立训练好的分位数回归器模型来构建预测区间,从而保证了纵向和横向覆盖率,适用于医学、金融和供应链管理等广泛应用。
Oct, 2023
我们开发了新的一致推断方法,用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出 LLM 响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题,首先,所述保证并非条件有效;其次,因为评分函数不完善,过滤步骤可能会删除许多有价值和准确的声明,我们通过两种新的一致方法解决了这两个挑战。
Jun, 2024