部分标记数据下的共形预测
在安全关键的分类任务中,我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架,在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法,并在皮肤病学中患者条件分类的案例研究中进行了实证。
Jul, 2023
本文关注条件保证的合拟合预测问题,并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测(PLCP)框架。我们在理论上分析了 PLCP,并对无限和有限样本大小提供了条件保证。最后,我们在四个真实世界和人工合成数据集上的实验证明了 PLCP 在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
在这项研究中,我们通过进行一项预先注册的随机对照试验,提供给人类被试一些确定度集合,从而研究了确定度集合对人类决策的辅助作用。结果表明,使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。
Jan, 2024
本研究探究了针对标签噪声的确定性估计方法 ——“conformal prediction” 的鲁棒性。通过理论证明和实验验证,提出了对于正确覆盖未观测噪声的基准真实标签,构建正确的不确定性集合的可能性和条件,并发现除了在数据分布或噪声源方面存在病态的特殊情况外,纠正标签噪声并不必要。在这种情况下,可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签,而无需直接调整得分或数据稳定性。
Sep, 2022
本文提出了一种基于元学习范式的公式化算法,用于在训练数据有限的情况下进行一致性预测,能够在保持理想边际效应的同时,大幅缩小预测集,该算法具有通用性,适用于自然语言处理、计算机视觉和药物发现等多个领域的少样本分类和回归任务。
Feb, 2021
通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区,再通过 Inductive Venn 预测器进行校准,从而实现对不确定性的量化和计算机分类模型预测集的标记,进而实现最终任务的目标。
May, 2022
我们开发了一种方法,用于生成预测集,其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测,这是一种强大的框架,用于构建在独立同分布假设下有效的预测集。重要的是,简单地应用符合性预测在这种情况下不能提供可靠的预测,因为由损坏引起的分布偏移。为了考虑到分布偏移,我们假设可以访问特权信息(PI)。特权信息被形式化为解释分布偏移的附加特征,然而,它们仅在训练期间可用,在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题,并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明,我们的方法实现了有效的覆盖率,并构建了比现有方法更具信息性的预测,这些方法不受理论保证支持。
Jun, 2024
通过修改模型输出一组标签而不是单个标签,符合预测已成为一种可行的不确定性量化策略。在在线学习设置中,我们考虑了半强盗反馈,其中只有在真实标签包含在预测集中时,我们才能观察到真实标签。我们提出了一种针对这种情况的新颖符合预测算法,并证明它相对于最优符合预测器具有亚线性遗憾。我们在检索任务和图像分类任务上评估了我们的算法,并且证明它在经验上获得了良好的性能。
May, 2024
本文提出了一种称为聚类置信预测的方法,该方法通过聚类类,将具有 “相似” 信心得分的类聚合在一起,然后在聚类水平上执行置信预测,进行分类问题中的更强的置信度验证,应用于多分类图像数据集中表现更加优秀。
Jun, 2023