Dec, 2023

在没有标签的标签偏移下估计校准误差

PDF
TL;DR在面对数据集转移时，模型校准在确保机器学习系统可靠性方面起到关键作用。本研究提出了一种基于标签转移的新型 CE 估计器，通过利用加权重要性重新调整标记源数据分布，实现了对转移目标分布的一致且渐进无偏的 CE 估计，实验结果表明该估计器的有效性和可靠性。
发现论文，激发创造
  • 无监督下协变量偏移的校准

    在安全关键应用的不确定性量化和决策中，概率模型的校准至关重要，在存在最小协变量转移时，针对校准的问题已受到广泛研究，我们提出了一种基于重要性采样的方法来解决这个问题，并在真实数据集和合成数据集上评估和讨论了我们的方法的有效性。

    Jun, 2020

  • 基于无监督域自适应的校准变量偏移预测

    本文提出了一种算法，用于校准模型预测并考虑协变量转移的情况，采用重要性加权法纠正训练分布与实际分布的差异，并通过领域适应的方法实现两个分布尽可能一致， 实证结果表明，该方法在存在协变量转移时优于现有的校准方法。

    Feb, 2020

  • 无需标签：在协变量漂移下估算部署后模型性能的方法

    我们提出了一种鲁棒准确的性能估计方法，用于评估无标签数据上机器学习分类模型的性能，准确量化协变量偏移对模型性能的影响，并在 600 个数据集 - 模型对上进行了评估，结果表明，该方法是估计分类模型在任何评估环境中性能的最佳方法。

    Jan, 2024

  • 无标签条件下适应分布偏移的适应性符合性预测

    通过两种新方法 ECP 和 EACP，根据基模型在未标记测试数据上的不确定性调整 CP 中的评分函数，从而仅使用测试域中的未标记数据改进 CP 生成的预测集的质量。通过对许多大规模数据集和神经网络架构进行广泛实验，我们展示了我们的方法相对于现有基准算法的持续改进，并几乎与监督算法的性能相匹配。

    Jun, 2024

  • 带偏移标签的适应性问题中，带偏差校准的最大似然方法最优

    该研究探讨了如何解决标签转移问题，提出了一种称为最大似然算法的方法，并结合一种称为校准的类型来减少偏见，证明了最大似然算法的目标是凸的，出现了黑盒转移学习和标签转移下的正则化学习的方法。研究表明，最大似然算法结合适当的校准是一个有效的基线。

    Jan, 2019

  • 使用黑盒预测器检测和校正标签变化

    本研究提出了基于黑盒预测器的分布偏移检测和矫正方法 BBSE，通过降维并获得测试分布确定估计 $p (y)$，并在高维自然图像数据集上实现了准确的估计和预测改善。

    Feb, 2018

  • 通过提高预测正确性意识来优化校准

    模型校准的新后续校准目标函数通过使用样本的转换版本来减少模型对错误预测样本的置信度并增加对正确预测样本的置信度，从而与现有技术在校准性能上达到相当竞争水平。

    Apr, 2024

  • ELSA: 通过半参数模型视角实现有效标签偏移适应

    本文探讨如何解决标签偏移的域自适应问题，提出了基于影响函数几何的时刻匹配框架，讨论了一种名为 ELSA 的解决方案，并通过大量实验证明该方法在无需繁琐的后验校准的情况下，能达到与最先进方法一样的性能并获得计算效率的提升。

    May, 2023

  • 评估数据集偏移下模型预测不确定性的可信度

    以大量分类问题为基础，对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。

    Jun, 2019

  • 基于协变量漂移的领域泛化可信度校准

    本文提出一种基于域泛化的新型校准方法，通过利用多个校准域来减少目标域与校准域之间的分布差异，实现校准转移的改进，并且不需要来自目标域的数据，通过理论和实证实验的方法展示了该方法的有效性，并比较了其表现与其他基于域适应的最先进的校准方法。实验表明，在 Office-Home 数据集上的多类别分类中，我们所提出的校准方法的表现提高了 35 个百分点，期望校准误差降低了 8.86 个百分点。

    Apr, 2021