Feb, 2024

置信度校准对符合性预测是否有帮助？

HTML
PDF
TL;DR该研究论文研究了适用于高概率包含真实标签的预测集的不确定性量化技术-保形预测。通过实验证明，使用事后校准方法和较小的温度得到的预测集有改进校准，而事后校准方法和较大的温度得到的预测集有改进保形预测性能。论文提出了一种新的$ extbf{保形温度缩放}$（ConfTS）方法，通过阈值和非规范得分之间的差距调整目标，使ConfTS的新目标朝向满足$ extit{边际覆盖}$的最优集合优化温度值。实验表明我们的方法能够有效改进广泛使用的保形预测方法。
发现论文，激发创造
  • 学习最优拟合分类器

    本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

    Oct, 2021

  • 预测一致性对标签噪声具有鲁棒性

    本研究探究了针对标签噪声的确定性估计方法——“conformal prediction”的鲁棒性。通过理论证明和实验验证，提出了对于正确覆盖未观测噪声的基准真实标签，构建正确的不确定性集合的可能性和条件，并发现除了在数据分布或噪声源方面存在病态的特殊情况外，纠正标签噪声并不必要。在这种情况下，可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签，而无需直接调整得分或数据稳定性。

    Sep, 2022

  • 关于适应性预测集大小的预期尺寸

    本文旨在解决当前对于确保错误频率的合规性统计保证，且相应预测集的大小对其实用性至关重要，但预测集大小缺乏有限样本分析和保证的问题，通过量化拆分一致性预测框架下预测集的期望大小来解决此不足，并提供一种实用的方法来表示测试和校准数据的不同可能实现的预期预测集大小。实验结果表明，对于回归和分类问题的现实世界数据集，本文的结果的功效得到了验证。

    Jun, 2023

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的conformal prediction框架，在approximated的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 带有噪声标签的自适应适合性分类

    该研究开发了新的遵循性预测方法，用于分类任务，可以自动适应标签污染，实现比现有方法更具信息量的预测集，并提供更强的覆盖保证。通过对标签污染下标准遵循性推断所面临的准确理论特征进行精确刻画，并通过新的校准算法实施行动。我们的解决方法灵活，并且可以利用关于标签污染过程的不同建模假设，同时无需关于数据分布或机器学习分类器内部工作的任何知识。通过广泛的模拟实验和对CIFAR-10H图像数据集的对象分类应用来证明了所提出方法的优势。

    Sep, 2023

  • 贝叶斯图神经网络在一致预测中的温度

    基于构建有效的置信区间的比例估计后验概率分布的缩放参数的最新研究成果，我们的研究探讨了将温度参数纳入基于CP框架的贝叶斯GNN中的优势，并通过实验证明了导致更高效的预测集的温度存在，同时分析了导致非效率的因素，并提供了有关CP性能和模型校准之间关系的有价值见解。

    Oct, 2023

  • 深度分类器的校准和符合预测

    本文研究了温度调节对自适应条件覆盖度提高的置信翻译方法的影响，并通过实证研究和理论分析揭示了一些数学特性，为此现象提供了解释。

    Feb, 2024

  • 一种对标签噪声具有鲁棒性的一致性预测得分

    通过在设定的概率内构建小的预测集合，拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题，引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分，并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集，发现我们的方法在预测集合的平均大小方面明显优于当前方法，同时保持所需的覆盖率。

    May, 2024

  • 置信度预测中的长度优化

    研究发展了一种新颖的基于长度优化的一致性预测框架（CPL），能够在不同类别的协变量转移下确保条件有效性，并构建出（接近）最优长度的预测集合，通过广泛的实证评估验证了其在分类、回归和文本相关设置方面相较于最新方法在预测集大小性能方面的优越性。

    Jun, 2024

  • 基于排名的符合预测集的可信分类

    通过使用适用于对标签顺序进行正确预测的分类模型的排名式评分函数，我们提出了一种新颖的符合性预测方法，该方法能够预测一组可能的标签，并获得相应的置信度得分以捕捉不确定性。我们的方法构建了在实现期望覆盖率的同时管理其大小的预测集合，通过对底层分类器的排名分布进行理论分析，我们提供了符合性预测集合的预期大小的理论分析。通过广泛的实验证明了我们的方法在各种数据集上优于现有技术，提供了可靠的不确定性量化。本文的贡献包括一种新颖的符合性预测方法、理论分析和实证评估，通过实现可靠的不确定性量化，推动了机器学习系统的实际部署。

    Jul, 2024