论文提出了一种新的、能够在存在协变量转移情况下构建可能准确的预测集的方法,该方法重点关注源分布与目标分布之间的协变量转移,假设给定了编码训练样本概率变化的重要性权重,从而实现了不确定性的量化。
Jun, 2021
本文在 PAC-Bayesian 理论中提供了两个主要方面的贡献,分别是基于新的分布伪距离提供一个更紧的 PAC-Bayesian 领域适应性边缘;另外实现了对多源领域适应性的推广。
Mar, 2015
基于观测数据的领域自适应问题,通过线性结构因果模型和表示学习方法,研究使用不变的协变量表示来解决概念漂移和改善目标预测的可行性,并通过在 Stiefel 流形上约束优化来证明大多数局部最优解与不变的线性子空间一致。通过验证实现方法和理论的三个真实数据集。
Jun, 2024
研究 PAC-Bayesian 领域适应的问题:从源域学习一个专门针对目标域的多数表决模型。通过导出目标风险的上限,我们提供了一个新视角来控制误差度量和投票者不一致之间的权衡。我们根据这个结果推导了一个 PAC-Bayesian 的广义上限,并将其特化到线性分类器。最后,在实际数据上进行了实验。
Jun, 2015
基于领域偏移的普适分类器归纳问题几乎困难且复杂,本文通过引入三种不同的分布偏移(概念偏移、协变量偏移和依赖性偏移),提出了一种新颖的领域泛化方法,能够在不同领域中保持模型的准确性和公平性。实验结果表明,该方法在四个基准数据集上超越了现有的方法。
Nov, 2023
我们研究了领域适应问题,该问题是由于未观察到的潜在变量分布改变所导致的分布偏移。我们的适应方法采用了近端因果学习,一种用于估计因果效应的技术,适用于存在未观察到的混淆变量代理的情况。我们证明了代理变量允许在不明确恢复或建模潜在变量的情况下适应分布偏移。我们考虑了两种情况:(i)概念瓶颈:观察到一个额外的 “概念” 变量,它介导了协变量和标签之间的关系;(ii)多领域:有来自多个源领域的训练数据,其中每个源领域对潜在混淆变量有不同的分布。我们在这两种情况下开发了一种两阶段核估计方法,以适应复杂的分布偏移。在我们的实验证明,我们的方法优于其他方法,尤其是那些明确恢复潜在混淆变量的方法。
Mar, 2024
本文提出了一种算法,用于校准模型预测并考虑协变量转移的情况,采用重要性加权法纠正训练分布与实际分布的差异,并通过领域适应的方法实现两个分布尽可能一致, 实证结果表明,该方法在存在协变量转移时优于现有的校准方法。
Feb, 2020
本文研究了机器学习中的一个重要研究主题:协变量转移。我们表明这个领域的方法都可以归为信息几何的范畴,并且我们提出的方法可以更高效地进行参数搜索和更好地适应数据,结果比现有方法好。
Apr, 2023
使用一种新颖的算法,在标签偏移情境下构建具有 PAC 保证的预测集合,通过对目标领域的类别的预测概率和混淆矩阵进行估计,利用高斯消元算法传播这些估计的不确定性,计算重要性权重的置信区间,并利用这些区间构建预测集合。在几个基准数据集上评估我们的方法,证明该算法满足 PAC 保证,并且相较于几个基准算法,生成更小且更具信息量的预测集合。
Oct, 2023
在安全关键应用的不确定性量化和决策中,概率模型的校准至关重要,在存在最小协变量转移时,针对校准的问题已受到广泛研究,我们提出了一种基于重要性采样的方法来解决这个问题,并在真实数据集和合成数据集上评估和讨论了我们的方法的有效性。
Jun, 2020