基于基础模型的通用领域适应
部署机器学习系统到未知领域时,需要它们能够有效利用先前的知识,同时对异常输入发出警报。本文提出了一个全面的自然语言基准,以验证模型的普适性和鲁棒性,并观察到原本设计用于图像输入的 UniDA 方法可以有效地迁移到自然语言领域,并强调了适应难度对模型性能的影响。
Oct, 2023
无监督域自适应对标记数据集域与无标记数据集域之间的知识转移非常有效,开放集域自适应解决了目标域中可能存在的未知类别问题,这项工作探索了使用 CLIP 来应用于开放集域自适应的通用方法,并通过熵优化策略提高了模型性能,提供了在多个基准测试上最新的结果,证明了其在解决目标域适应问题中的有效性。
Jul, 2023
提出了一种新的任务设置 —— 统一的语言驱动零样本领域适应 (ULDA),使得单个模型能够在没有显式域标识知识的情况下适应多样的目标领域。通过在多个视觉层次上对齐模拟特征和目标文本、保留不同区域表示之间的语义相关性以及校正模拟和真实目标视觉特征之间的偏差,该框架在两个场景下实现了竞争性的性能,展示了其优越性和泛化能力。
Apr, 2024
本文提出了一种基于全局和本地聚类的学习技术(GLC),以实现知道领域和类别转换下已知数据样本的识别,并仅使用标准预训练源模型的知识从而拒绝那些 “未知” 的数据样本。我们检验了我们的方法在包括部分集、开放集和开放部分集 DA 等不同类别转化情境下的多个基准测试中相对于 UMAD 的优越性,值得注意的是,我们的方法在最具挑战性的开放部分集 DA 情境下比 UMAD 高出 14.8%。
Mar, 2023
本文提出了一个名为 “不清晰统一域适应” 的新颖场景,以应对源域中存在噪声数据且目标域中存在未知类别分布的情况。文章将多标头卷积神经网络作为解决该场景下在同一模型中同时解决存在噪声数据、未知类别与源域 / 目标域分布不同等挑战的方法,并在多个场景下验证了该方法的有效性和优越性
Apr, 2023
本文提出了一种名为 Noisy UniDA 的现实情况下的通用域适应解决方案,它使用卷积神经网络框架来检测源域中带有噪声的样本,查找目标域中的未知类别,并实现源域和目标域的分布对齐。在不同的领域适应设置的广泛评估中,所提出的方法在大多数设置中都比现有方法表现优异。
Apr, 2021
该文提出了一种名为 UMAD 的通用模型适应框架,能够在不使用源数据或了解域之间类别偏移的先验知识的情况下处理 open-set 和 open-partial-set 的两种 UDA 场景,并通过实验证明其在数据隐私敏感型应用中具有可比较甚至更优的性能。
Dec, 2021
本文介绍一种使用最小类间距离阈值的通用领域适应(UNDA)方法,该方法使用源样本学习该阈值并将其适应于目标领域,同时训练一种基于一对所有分类器的学习方法。
Apr, 2021
我们提出了一种更实用的方案,名为 Hot-Learning with Contrastive Label Disambiguation(HCLD),解决了 Universal Federated Domain Adaptation(UFDA)场景中的领域变化和类别差距问题,并通过使用各个源域的黑盒模型的单热输出来区分共享类和未知类。在三个基准测试上的广泛实验表明,与具有许多额外假设的先前方法相比,我们的 HCLD 在 UFDA 场景中以更少的假设达到了可比较的性能。
Nov, 2023