Feb, 2024

置信度校准对符合性预测是否有帮助？

PDF
TL;DR该研究论文研究了适用于高概率包含真实标签的预测集的不确定性量化技术 - 保形预测。通过实验证明，使用事后校准方法和较小的温度得到的预测集有改进校准，而事后校准方法和较大的温度得到的预测集有改进保形预测性能。论文提出了一种新的 $ extbf {保形温度缩放}$（ConfTS）方法，通过阈值和非规范得分之间的差距调整目标，使 ConfTS 的新目标朝向满足 $ extit {边际覆盖}$ 的最优集合优化温度值。实验表明我们的方法能够有效改进广泛使用的保形预测方法。
发现论文，激发创造
  • 深度分类器的校准和符合预测

    本文研究了温度调节对自适应条件覆盖度提高的置信翻译方法的影响，并通过实证研究和理论分析揭示了一些数学特性，为此现象提供了解释。

    Feb, 2024

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 一种对标签噪声具有鲁棒性的一致性预测得分

    通过在设定的概率内构建小的预测集合，拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题，引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分，并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集，发现我们的方法在预测集合的平均大小方面明显优于当前方法，同时保持所需的覆盖率。

    May, 2024

  • 学习最优拟合分类器

    本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

    Oct, 2021

  • 贝叶斯图神经网络在一致预测中的温度

    基于构建有效的置信区间的比例估计后验概率分布的缩放参数的最新研究成果，我们的研究探讨了将温度参数纳入基于 CP 框架的贝叶斯 GNN 中的优势，并通过实验证明了导致更高效的预测集的温度存在，同时分析了导致非效率的因素，并提供了有关 CP 性能和模型校准之间关系的有价值见解。

    Oct, 2023

  • 基于一致预测集的人类决策改善

    在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

    Jan, 2024

  • 基于标签排序的深度分类器的拟合预测

    通过理论和实验，本文证明了无视概率值可以减轻在 conformal prediction 中概率值失配所导致的大预测集的不良影响。然后，提出了一种名为 “Sorted Adaptive prediction sets” (SAPS) 的新算法，其丢弃除最大 softmax 概率以外的所有概率值，以最小化非符合度分数对概率值的依赖，同时保留不确定性信息，从而生成小型集合并传达逐个实例的不确定性。在理论上，提供了 SAPS 的有限样本覆盖保证，并证明了 SAPS 的预期集合大小始终小于 APS。广泛的实验验证了 SAPS 不仅减小了预测集，还显著提高了预测集的条件覆盖率和适应性。

    Oct, 2023

  • 预测一致性对标签噪声具有鲁棒性

    本研究探究了针对标签噪声的确定性估计方法 ——“conformal prediction” 的鲁棒性。通过理论证明和实验验证，提出了对于正确覆盖未观测噪声的基准真实标签，构建正确的不确定性集合的可能性和条件，并发现除了在数据分布或噪声源方面存在病态的特殊情况外，纠正标签噪声并不必要。在这种情况下，可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签，而无需直接调整得分或数据稳定性。

    Sep, 2022

  • 概率鲁棒可伸缩机器学习分类的整体预测

    通过引入得分函数的新定义和定义一组特殊的输入变量（conformal safety set），我们分析了可扩展分类器和一致预测之间的相似性，该安全集能够识别满足误差覆盖保证的输入空间模式，即在该集合中，观察到错误（可能不安全）标签的概率受到预定义的 ε 误差水平的限制。通过在网络安全中应用于识别 DNS 隧道攻击，我们展示了该框架的实际影响。我们的工作有助于发展概率稳健可靠的机器学习模型。

    Mar, 2024

  • 通过基于物理信息的结构因果模型实现鲁棒的分布偏移下的符合性预测

    通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界，我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。

    Mar, 2024