基于无监督域自适应的校准变量偏移预测
在安全关键应用的不确定性量化和决策中,概率模型的校准至关重要,在存在最小协变量转移时,针对校准的问题已受到广泛研究,我们提出了一种基于重要性采样的方法来解决这个问题,并在真实数据集和合成数据集上评估和讨论了我们的方法的有效性。
Jun, 2020
本文提出一种基于域泛化的新型校准方法,通过利用多个校准域来减少目标域与校准域之间的分布差异,实现校准转移的改进,并且不需要来自目标域的数据,通过理论和实证实验的方法展示了该方法的有效性,并比较了其表现与其他基于域适应的最先进的校准方法。实验表明,在 Office-Home 数据集上的多类别分类中,我们所提出的校准方法的表现提高了 35 个百分点,期望校准误差降低了 8.86 个百分点。
Apr, 2021
通过使用专家混合技术和计算机视觉领域的先进数据增强技术,结合对预测不确定性的稳健后期校准,我们可以在表格数据的深度神经网络中实现比提升树模型更准确和更好校准的结果,从而改进领域外天气预测和不确定性估计。
Jan, 2024
论文提出了一种新的、能够在存在协变量转移情况下构建可能准确的预测集的方法,该方法重点关注源分布与目标分布之间的协变量转移,假设给定了编码训练样本概率变化的重要性权重,从而实现了不确定性的量化。
Jun, 2021
通过对深度神经网络中的预测不确定性进行建模并通过约束标签的分布来匹配特征和标签分布,从而有效地减轻了源域和目标域数据之间的标签分布迁移,进而在三个常见的数据集上表现出优异的效果
Jun, 2019
以大量分类问题为基础,对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估,发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。
Jun, 2019
基于观测数据的领域自适应问题,通过线性结构因果模型和表示学习方法,研究使用不变的协变量表示来解决概念漂移和改善目标预测的可行性,并通过在 Stiefel 流形上约束优化来证明大多数局部最优解与不变的线性子空间一致。通过验证实现方法和理论的三个真实数据集。
Jun, 2024
在测试数据中的协变量偏移可以显著降低模型的准确性和公平性表现。我们提出了一种基于加权熵的预测准确性目标和表示匹配损失的新型组合目标函数,通过实验证明了我们的损失函数优化在公平性与准确性的权衡上优于其他基线方法。我们还提出了一种称为不对称协变量偏移的新颖设置,并展示了我们的方法在这种设置下的显著优势。最后,我们理论上证明了在训练集上的加权熵项和预测损失可以近似于协变量偏移时的测试损失。我们通过实验证明了这种对未见测试损失的近似不依赖于影响其他基线方法的重要性采样方差。
Oct, 2023
在面对数据集转移时,模型校准在确保机器学习系统可靠性方面起到关键作用。本研究提出了一种基于标签转移的新型 CE 估计器,通过利用加权重要性重新调整标记源数据分布,实现了对转移目标分布的一致且渐进无偏的 CE 估计,实验结果表明该估计器的有效性和可靠性。
Dec, 2023