无监督下协变量偏移的校准
以大量分类问题为基础,对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估,发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。
Jun, 2019
本文提出了一种算法,用于校准模型预测并考虑协变量转移的情况,采用重要性加权法纠正训练分布与实际分布的差异,并通过领域适应的方法实现两个分布尽可能一致, 实证结果表明,该方法在存在协变量转移时优于现有的校准方法。
Feb, 2020
该研究提出了一种用于回归设置的校准方法,称为经验性地校准回归不确定性分布(CRUDE),该方法不假定错误的特定不确定性分布,并展示了它的理论联系以及 CRUDE 的性能优于现有技术。
May, 2020
本文研究了在监督学习中,训练和测试数据集经常被从不同的分布中抽样,因此需要进行领域适应技术,本文重点探讨了如何在协变量偏移适应的情况下,使用有效样本数、数据维度和泛化能力来建立一种统一的理论,并证明了降维或特征选择可以提高有效样本量,并支持在协变量偏移适应之前进行降维处理。
Oct, 2020
本文提出一种基于域泛化的新型校准方法,通过利用多个校准域来减少目标域与校准域之间的分布差异,实现校准转移的改进,并且不需要来自目标域的数据,通过理论和实证实验的方法展示了该方法的有效性,并比较了其表现与其他基于域适应的最先进的校准方法。实验表明,在Office-Home数据集上的多类别分类中,我们所提出的校准方法的表现提高了35个百分点,期望校准误差降低了8.86个百分点。
Apr, 2021
论文提出了一种新的、能够在存在协变量转移情况下构建可能准确的预测集的方法,该方法重点关注源分布与目标分布之间的协变量转移,假设给定了编码训练样本概率变化的重要性权重,从而实现了不确定性的量化。
Jun, 2021
在面对数据集转移时,模型校准在确保机器学习系统可靠性方面起到关键作用。本研究提出了一种基于标签转移的新型CE估计器,通过利用加权重要性重新调整标记源数据分布,实现了对转移目标分布的一致且渐进无偏的CE估计,实验结果表明该估计器的有效性和可靠性。
Dec, 2023
使用条件核平均嵌入测量标定差异,以提高机器学习模型的不确定性量化,并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力,并计划用于更复杂的应用。
May, 2024