一般化与信息化的合拟预测
本研究利用信息论来将符合预测与其他不确定性概念相联系,并证明了三种不同的方法来上界内在不确定性,同时通过符合预测和信息论不等式的组合,实现了两种直接有用的应用:(i)更规范和有效的符合训练目标,从头开始实现机器学习模型的端到端训练,(ii)将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证,并证明了我们的理论结果能够转化为流行的符合预测方法的低效性(平均预测集大小)。
May, 2024
本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架,提出了一种新的基于概率方法的模型不确定性量化方法,并提供了可靠的边界用于计算不确定度。
Jun, 2023
本论文将 CP 技术与经典算法稳定性界限相结合,提出了一种置信区间集合,可用单一模型拟合计算,并证明了该方法能够保证精度,避免了数据分割的需求,成功解决了传统方法无法处理连续未知变量 y_n+1 的瓶颈问题。
Dec, 2021
在这项研究中,我们通过进行一项预先注册的随机对照试验,提供给人类被试一些确定度集合,从而研究了确定度集合对人类决策的辅助作用。结果表明,使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。
Jan, 2024
该研究提出了一种新颖的 conformal prediction(CP)方法,通过找到一组有前途的预测候选项而不是单个预测,以适合许多开放式分类任务,实现包含正确答案的高概率且适用于自然语言处理和药物发现等多个应用领域,同时实现降低预测集的大小和费用摊销等效果。
Jul, 2020
通过引入得分函数的新定义和定义一组特殊的输入变量(conformal safety set),我们分析了可扩展分类器和一致预测之间的相似性,该安全集能够识别满足误差覆盖保证的输入空间模式,即在该集合中,观察到错误(可能不安全)标签的概率受到预定义的 ε 误差水平的限制。通过在网络安全中应用于识别 DNS 隧道攻击,我们展示了该框架的实际影响。我们的工作有助于发展概率稳健可靠的机器学习模型。
Mar, 2024
本文旨在解决当前对于确保错误频率的合规性统计保证,且相应预测集的大小对其实用性至关重要,但预测集大小缺乏有限样本分析和保证的问题,通过量化拆分一致性预测框架下预测集的期望大小来解决此不足,并提供一种实用的方法来表示测试和校准数据的不同可能实现的预期预测集大小。实验结果表明,对于回归和分类问题的现实世界数据集,本文的结果的功效得到了验证。
Jun, 2023