针对领域偏移场景的后验不确定性校准
为了让实际应用的人工智能系统更加被广泛认知,模型的可信度至关重要。文章提出了一种新的训练策略,结合熵鼓励损失项和对抗校准损失项,以提高样本在领域世界偏移下的校准性和适应性。文章在不同的数据模式、数据集和网络架构上进行了全面的评估,结果显示该方法明显高于现有的最先进方法,应用于领域漂移下预测方面具有技术上的可信度。
Dec, 2020
通过将后续校准嵌入到训练过程中,我们提出了一种名为量位数校准训练的新型端到端模型训练方法,该方法直接在训练过程中进行校准,无需额外参数,并且演示了其在大规模实验中在提高预测准确性的同时保持校准的性能。
Mar, 2024
通过使用专家混合技术和计算机视觉领域的先进数据增强技术,结合对预测不确定性的稳健后期校准,我们可以在表格数据的深度神经网络中实现比提升树模型更准确和更好校准的结果,从而改进领域外天气预测和不确定性估计。
Jan, 2024
使用基于最近邻的密度感知校准方法,利用分类器的隐藏层作为不确定性相关信息的来源对深度学习模型进行校准,提高了对域漂移和离域数据的可靠性,并在保持良好域内预测不确定性估计的同时,提高了校准的鲁棒性。
Feb, 2023
通过元集合级联温度回归方法,本文提出了一种新颖的事后校准方法,通过对验证集上的数据增强模拟不同领域的转变,为不同的测试集定制细粒度的缩放函数,捕捉多样化的不确定性,并通过回归网络学习得到类别特定和置信度特定的缩放,实现元集合之间的校准。通过在 MNIST、CIFAR-10 和 TinyImageNet 上进行广泛的实验证明了该方法的有效性。
Feb, 2024
本文研究了深度神经网络模型校准方面的现有问题,并发现这类模型存在大量 “几乎确定” 置信度,导致常常过于自信。同时,文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。
Jun, 2023
本文提出一种基于域泛化的新型校准方法,通过利用多个校准域来减少目标域与校准域之间的分布差异,实现校准转移的改进,并且不需要来自目标域的数据,通过理论和实证实验的方法展示了该方法的有效性,并比较了其表现与其他基于域适应的最先进的校准方法。实验表明,在 Office-Home 数据集上的多类别分类中,我们所提出的校准方法的表现提高了 35 个百分点,期望校准误差降低了 8.86 个百分点。
Apr, 2021
在安全关键应用的不确定性量化和决策中,概率模型的校准至关重要,在存在最小协变量转移时,针对校准的问题已受到广泛研究,我们提出了一种基于重要性采样的方法来解决这个问题,并在真实数据集和合成数据集上评估和讨论了我们的方法的有效性。
Jun, 2020
本文提出了一种新的评估指标,称为 “field-level calibration error”,用于衡量决策者关注的敏感输入领域中预测偏差,提出了一种名为神经校准的后续校准方法,使用验证集中的领域感知信息进行校准,并通过实验证明其对常见度量(如负对数似然、布里尔分数和 AUC)以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。
May, 2019