协变量转移下的 PAC 学习保证
本文基于 PAC-Bayesian 理论对领域自适应进行了理论分析,提出了 Germain et al. 等人之前领域适应界限的改进方法,首先给出了另一个更紧密且易于解释的泛化界限,此外,还为界限中出现的常数项提供了新的分析,这对于开发新的算法解决方案非常有趣。
Jan, 2015
研究PAC-Bayesian领域适应的问题:从源域学习一个专门针对目标域的多数表决模型。通过导出目标风险的上限,我们提供了一个新视角来控制误差度量和投票者不一致之间的权衡。我们根据这个结果推导了一个PAC-Bayesian的广义上限,并将其特化到线性分类器。最后,在实际数据上进行了实验。
Jun, 2015
探讨了领域自适应中的二元分类问题,提出了一种新的 Neyman-Pearson 类似标准,并研究了一类广义的领域自适应问题,建立了在目标域中的最优分类结果,即使没有访问该域的标记数据。
Oct, 2018
介绍了机器学习中领域自适应和转移学习的数据分布变化问题,分类模型的风险最小化框架及其在复杂变化中的应用,并讨论了多种方法来解决这些问题,但要实现实用化仍需解决许多问题。
Dec, 2018
本论文研究了领域自适应中的标定问题,提出了Transferable Calibration方法来解决这个问题。该方法可以帮助现有的领域自适应模型更准确地进行标定,从而在关键场景下做出更可靠的决策。
Jul, 2020
本文研究了在监督学习中,训练和测试数据集经常被从不同的分布中抽样,因此需要进行领域适应技术,本文重点探讨了如何在协变量偏移适应的情况下,使用有效样本数、数据维度和泛化能力来建立一种统一的理论,并证明了降维或特征选择可以提高有效样本量,并支持在协变量偏移适应之前进行降维处理。
Oct, 2020
本文提出一种基于域泛化的新型校准方法,通过利用多个校准域来减少目标域与校准域之间的分布差异,实现校准转移的改进,并且不需要来自目标域的数据,通过理论和实证实验的方法展示了该方法的有效性,并比较了其表现与其他基于域适应的最先进的校准方法。实验表明,在Office-Home数据集上的多类别分类中,我们所提出的校准方法的表现提高了35个百分点,期望校准误差降低了8.86个百分点。
Apr, 2021
该论文提出了一个新的处理从共变量和标签中引入偏差的方法(Factorizable Joint Shift, FJS),并提出了一种新的联合重要性对齐(Joint Importance Aligning, JIA)的方法来获得用于监督和无监督领域适应的联合重要性估计器及其训练数据的加权。
Mar, 2022
在高维回归环境中,我们提出了一种具有新型融合正则化器的两步法,有效利用来自源任务的样本,提高对具有有限样本的目标任务的学习性能,并提供了目标模型估计误差的非渐近界限,表明所提方法对协变量转变的鲁棒性。我们进一步确定了估计器最小化优选的条件。此外,我们将该方法扩展到分布式环境,允许预训练和微调策略,仅需一轮通信,同时保持了集中式版本的估计率。数值测试验证了我们的理论,突出了该方法对协变量转变的鲁棒性。
Apr, 2024