逐渐消失的桥梁:用于对抗性领域自适应的方法
本文介绍了对抗学习的方法能够通过一般化的视角更好地理解前面的方法,并提出了一个新的对抗判别域自适应框架,称为ADDA,它将判别建模、解除权重共享和GAN损失结合在一起,优于竞争的域对抗方法,且在标准的跨域数字分类任务和一种新的更难的跨模态物体分类任务中超越了最新的无监督适应结果。
Feb, 2017
本文提出了一种新的方法——Wasserstein Distance Guided Representation Learning (WDGRL),其利用神经网络来估计源域和目标域之间的Wasserstein距离,并以对抗的方式来优化特征提取器网络,以最小化估计的Wasserstein距离,该方法在情感和图像分类自适应数据集上的实证研究表明其优于现有的领域不变表示学习方法。
Jul, 2017
通过集群假设的视角,该研究提出了两个新的模型:结合领域对抗训练和对集群假设违反的惩罚的虚拟敌对领域自适应(VADA)模型以及采用自然梯度步骤进一步减小集群假设违反的Decision-boundary迭代细化训练与教师(DIRT-T)模型。广泛的实证结果表明,这两个模型的组合大大提高了数字,交通标志和Wi-Fi识别领域自适应基准的最新性能。
Feb, 2018
该论文提出了一种名为ALDA的新颖领域自适应方法,利用伪标签方法和混淆矩阵相结合,实现特征分布的对齐和目标特征的强分类,并将学习到的混淆矩阵构建为新的损失函数。在四个标准领域适应数据集上较其他已知方法表现更优。
Jan, 2020
本文提出一种通用的域自适应问题表示,称为广义域自适应 (GDA) ,涵盖了主要变量作为其特殊情况,该广义化引出一种新的具有挑战性的设置,其中现有的方法失败了。 我们提出了一种新颖的方法,其关键是无监督的类破坏学习,这使得学习类不变表示和域对抗分类器无需使用任何领域标签,使用3个基准数据集的大量实验证明了我们的方法在新设置下优于现有的UDA方法,在现有UDA变量中也很有竞争力。
Jun, 2021
本文提出了一种新的通用领域敌对框架,利用变分f-分歧的特征进行领域自适应。基于此框架,推导出了具有重要修正的新算法框架,并证明了其在自然语言和计算机视觉数据集上优于现有的基线结果。
Jun, 2021
本文从博弈论的角度解释了域自适应训练中学习不变表示的支配性思路,并将梯度下降的优化器替换成高阶ODE求解器,为此得出渐近收敛保证。实验结果表明,与标准优化器相比,使用我们的优化器能够在半数训练迭代次数内,与最先进的域自适应方法相结合实现3.5%的性能提升。
Feb, 2022
本文提出了一种基于无判别器的对抗学习网络(DALN)的范式,其中分类器被重新利用作为鉴别器,通过统一目标实现了明确的域对准和类别区分,使DALN能够利用预测的鉴别信息进行充分的特征对其。同时,引入了核范数Wasserstein距离(NWD)作为判别准则,无需附加重量剪辑或渐变惩罚策略等要求即可满足K-Lipschitz约束条件,且与现有的UDA算法相比具有更好的性能。
Apr, 2022
在持续设置中的领域对抗适应存在一定挑战,由于无法访问以前的源域数据。与持续学习的广泛研究不同,仅仅使用少量存储的源域数据无法有效地完成对抗适应任务,这是内存回放方法中的常见设置。本文提出了一种双头鉴别器算法,通过引入一个仅在源学习阶段训练的仅源域鉴别器,证明了预训练的仅源域鉴别器的引入可以减少源域方面的实证估计误差。进一步的实验表明,在现有的领域适应基准上,我们提出的算法在所有目标领域适应任务的各个类别上实现了超过2%的改进,同时显着减轻了对源域的遗忘。
Feb, 2024
提出了一种新颖的对比对抗训练 (Contrastive Adversarial Training, CAT) 方法,通过利用源域样本来强化和规范目标域的特征生成,以解决领域适应中由于大模型训练和目标域微调缺乏标记数据而导致的问题。该方法可以轻松插入现有模型并显著提高性能。
Jul, 2024