跨领域集成蒸馏用于领域泛化
该论文提出一种学会学习的方法,通过学习辅助损失本身来提高模型的泛化能力,进而应用于领域推广的问题,包括传统领域推广和异构域推广。实验结果表明,该方法在两种情况下优于现有的解决方案。
Jan, 2019
本文提出一种新的域泛化范式 —— 专业组合学习,利用固定的预先训练模型,先训练出一个线性标签空间适配器,然后提出一个认识到模型特殊性的集成网络,动态地分配适当的预训练模型来预测每个测试样本,与现有的域泛化方法相比,可以显著提高性能并大大减少可训练参数和时间成本。
Mar, 2022
我们提出了一种新的基于对比的解缠方法 CDDG,通过利用解缠特征来利用被忽视的领域特定特征,从而便于提取所需的跨领域类别特征进行 DG 任务。与其他先进方法相比,对各种基准数据集进行的广泛实验表明了我们方法的优越性。此外,可视化评估证实了我们方法在实现有效特征解缠方面的潜力。
Oct, 2023
领域泛化通过提高模型的鲁棒性来开发具有分布偏移上的稳定性的模型。现有方法在跨域数据上学习不变性以增强模型的稳健性,数据增强被广泛用于学习不变的预测模型,其中大多数方法在输入空间进行增强。然而,输入空间的增强的多样性有限,而特征空间的增强更加灵活且显示了有希望的结果。然而,特征语义很少被考虑,现有特征增强方法缺乏增强特征的多样性。我们将特征分解为类通用、类特定、领域通用和领域特定组件。我们提出了一种名为 XDomainMix 的跨域特征增强方法,使我们能够增加样本的多样性,同时强调学习不变表示以实现领域泛化。对广泛使用的基准数据集的实验证明我们的方法能够实现最先进的性能。定量分析表明我们的特征增强方法有助于学习在不同领域中都不变的有效模型。
May, 2024
本篇论文提出了一种基于模型的域泛化方法,通过对数据生成过程和同变性条件的建模,将域泛化问题转化为一个无限维的有约束统计学习问题,并利用非凸对偶理论发展了有约束松弛的统计问题,提出了具有收敛保证的域泛化算法,并在 ColoredMNIST,Camelyon17-WILDS,FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。
Feb, 2021
该研究使用多种潜在领域混合的方式来提高神经网络的领域泛化能力,通过聚类将样本分为不同的领域,并通过对抗学习训练领域不变特征提取器来发现潜在领域,并利用风格特征进行聚类,达到不需要使用领域标签的领域泛化模型的训练。该方法表现优于传统的领域泛化方法,包括使用领域标签的方法。
Nov, 2019
我们通过在训练阶段让目标领域中的一小部分无标签图像可访问,解决基于跨域 few-shot 分类的问题,同时通过指导网络的浅层学习更高级别的信息的跨层级知识蒸馏方法提取更有区分度的特征,以及通过特征去噪操作减少特征冗余并减轻过拟合,我们的方法在 BSCD-FSL 基准测试中平均超过了先前的最优方法 Dynamic-Distillation 在 1-shot 和 5-shot 分类任务上分别提升了 5.44% 和 1.37%。
Nov, 2023
本研究提出了使用样式互补模块来增强模型的泛化能力,从而解决单域泛化中由于样本多样性有限而导致的泛化性能下降。通过在三个基准数据集上进行大量实验,结果表明本方法优于现有的单域泛化方法,最高提升了 25.14%。
Aug, 2021