CVPRApr, 2024

统一语言驱动的零样本领域自适应

PDF
TL;DR提出了一种新的任务设置 —— 统一的语言驱动零样本领域适应 (ULDA)，使得单个模型能够在没有显式域标识知识的情况下适应多样的目标领域。通过在多个视觉层次上对齐模拟特征和目标文本、保留不同区域表示之间的语义相关性以及校正模拟和真实目标视觉特征之间的偏差，该框架在两个场景下实现了竞争性的性能，展示了其优越性和泛化能力。
unified language-driven zero-shot domain adaptationuldahierarchical context alignmentdomain consistent representation learningtext-driven rectifier
发现论文，激发创造
  • 在上下文中适应：通过上下文中学习的检索增强域适应

    通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。

    Nov, 2023

  • 自然语言处理中对分布偏移的稳健处理的普适领域自适应

    部署机器学习系统到未知领域时，需要它们能够有效利用先前的知识，同时对异常输入发出警报。本文提出了一个全面的自然语言基准，以验证模型的普适性和鲁棒性，并观察到原本设计用于图像输入的 UniDA 方法可以有效地迁移到自然语言领域，并强调了适应难度对模型性能的影响。

    Oct, 2023

  • 无监督领域自适应语言建模

    本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了 UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作 UDA 训练中的停止准则。此外，我们还讨论了 A 距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在 Amazon 评论情感数据集的 12 个领域对上进行评估，得到了 91.74％的准确率，比最先进技术提高了 1.11％的绝对值。

    Apr, 2021

  • 基于提示学习的领域适应

    本文提出了一种新颖的无监督领域自适应学习范式 —— 通过提示学习的领域自适应 (DAPL)，通过嵌入域信息和利用预训练的视觉 - 语言模型进行分类，此方法在多个领域的基准测试数据上表现优异，并且训练效率高、易于实现。

    Feb, 2022

  • UniHDA：走向通用的混合领域自适应图像生成模型

    提出了 UniHDA，一个统一且多用途的混合领域适应框架，利用来自多个领域的多模态参考将生成器适应到新的目标领域，并提出了一种新颖的跨领域空间结构（CSS）损失来保持源生成器与目标生成器之间的详细空间结构信息，实验证明该适应后的生成器能够综合具有不同属性组成的逼真图像。

    Jan, 2024

  • 一种新的双向无监督域自适应分割框架

    本文介绍了一种基于 “分离表达学习” 的双向无监督领域自适应（BiUDA）框架，来提高医疗图像分析中深度学习模型在不同领域间迁移性能，实验结果显示该框架优于当前先进的方法。

    Aug, 2021

  • 无监督深度域自适应中的潜在域推断

    本文提出了一种新的深度学习架构，通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题，在公共基准测试中表现优于现有的方法。

    Mar, 2021

  • 将视觉 - 语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

    无监督领域自适应 (UDA) 通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合 UDA 获得的知识与视觉 - 语言模型的内在知识。通过视觉 - 语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略 (GSDE) 相结合，结果表明零样本预测也有益处。我们在三个基准测试集 (OfficeHome、VisDA 和 DomainNet) 上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

    Dec, 2023

  • 跨域对比学习用于无监督域自适应

    该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估， 这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。

    Jun, 2021

  • 基于基础模型的通用领域适应

    基于基础模型（如 CLIP 或 DINOv2），本文通过全面实证研究最新的通用域自适应方法，发现现有方法往往无法超越基准线表现；作者提出了一种简单的基于目标数据提炼的方法，并在所有通用分类率基准测试中实现了一致的改进，提出了新的评价指标 UCR 来解决使用现有的 H-score 度量时遇到的阈值敏感问题。

    May, 2023