基于图模型的领域适应问题推断
本文基于 PAC-Bayesian 理论对领域自适应进行了理论分析,提出了 Germain et al. 等人之前领域适应界限的改进方法,首先给出了另一个更紧密且易于解释的泛化界限,此外,还为界限中出现的常数项提供了新的分析,这对于开发新的算法解决方案非常有趣。
Jan, 2015
研究PAC-Bayesian领域适应的问题:从源域学习一个专门针对目标域的多数表决模型。通过导出目标风险的上限,我们提供了一个新视角来控制误差度量和投票者不一致之间的权衡。我们根据这个结果推导了一个PAC-Bayesian的广义上限,并将其特化到线性分类器。最后,在实际数据上进行了实验。
Jun, 2015
本文提出了一种灵活的生成领域自适应网络(G-DAN)和因果生成领域自适应网络(CG-DAN),旨在通过建模特征的生成过程和使用低维潜在变量,学习和处理源域和目标域之间的分布变化,进而实现跨领域数据生成和预测。实验结果表明,这两种方法在合成和真实数据实验中都能有效地适应不同的领域。
Apr, 2018
本研究提出了一种信息理论方法来处理具有多个相似目标领域的无监督域适应问题,通过寻找一个共同的潜在空间,同时利用信息理论方法实现共享和私有信息的分离,并利用高效的优化算法完成从单一源到多个目标领域的自适应过程。
Oct, 2018
本文提出了一种利用机制转移适应目标领域的方法,该方法可以在数据生成机制在不同领域间不变的假设下应对非参数移位问题,并应用因果模型中的结构方程来进行域适应,实验证明该方法可以在回归问题中有效使用。
Feb, 2020
本文提出了连续域自适应(CDA)问题,并提出了一种新颖的方法作为 CDA 基线。该方法通过交替训练策略、连续性约束和域特定队列等手段,在多个域之间降低差异性并泛化到未见目标域,从而在CDA问题中实现了最优性能。
Aug, 2022
无源无监督领域自适应(SFUDA)是一个具有挑战性的任务,模型需要在没有目标领域标签或源领域数据的情况下适应新领域。本文提出了一种新的方法,通过考虑每个样本的多个预测假设并研究每个假设的合理性来解决该问题。通过整合这些假设的理由,我们可以识别最有可能的正确假设,并将其作为伪标签集来支持半监督学习过程进行模型自适应。我们提出了一个三步自适应过程:模型预自适应、假设整合和半监督学习,以实现最佳性能。广泛的实验结果表明我们的方法在SFUDA任务中达到了最先进的性能,并可以轻松集成到现有方法中以改善其性能。
Feb, 2024
我们研究了领域适应问题,该问题是由于未观察到的潜在变量分布改变所导致的分布偏移。我们的适应方法采用了近端因果学习,一种用于估计因果效应的技术,适用于存在未观察到的混淆变量代理的情况。我们证明了代理变量允许在不明确恢复或建模潜在变量的情况下适应分布偏移。我们考虑了两种情况:(i)概念瓶颈:观察到一个额外的“概念”变量,它介导了协变量和标签之间的关系;(ii)多领域:有来自多个源领域的训练数据,其中每个源领域对潜在混淆变量有不同的分布。我们在这两种情况下开发了一种两阶段核估计方法,以适应复杂的分布偏移。在我们的实验证明,我们的方法优于其他方法,尤其是那些明确恢复潜在混淆变量的方法。
Mar, 2024
统一的无源领域适应问题中,通过采用潜在因果因素发现方法(LCFD)和预训练的视觉-语言模型(如CLIP),可以有效提高学习模型对领域变化的可靠性和鲁棒性,并在不同的无源领域适应设置和无源领域外泛化上取得了新的最先进结果。
Mar, 2024