Jul, 2023

具有视觉 - 语言基础模型的开放域适应

PDF
TL;DR无监督域自适应对标记数据集域与无标记数据集域之间的知识转移非常有效，开放集域自适应解决了目标域中可能存在的未知类别问题，这项工作探索了使用 CLIP 来应用于开放集域自适应的通用方法，并通过熵优化策略提高了模型性能，提供了在多个基准测试上最新的结果，证明了其在解决目标域适应问题中的有效性。
unsupervised domain adaptationopen-set domain adaptationvisual-language foundation modelsclipentropy optimization strategy
发现论文，激发创造
  • 基于 CLIP 的开放集视频领域自适应框架 AutoLabel

    本研究提出了一种基于预训练语言和视觉模型的 open-set 无监督视频域自适应方法，并引入了 AutoLabel 来发现和生成目标专有类别的类名，通过改进的 CLIP 模型可以有效地对目标专有的类别进行识别，并提高两个域之间分享类别的对齐。

    Apr, 2023

  • 开放集领域适应：理论界限与算法

    本文提供了第一篇研究开放领域自适应的学习界限，并提出了一种基于分布对齐的新型无监督算法，该算法旨在正则化开放集差异界限，实验证明所提出的 UOSDA 方法优于现有文献中的最新方法。

    Jul, 2019

  • 将视觉 - 语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

    无监督领域自适应 (UDA) 通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合 UDA 获得的知识与视觉 - 语言模型的内在知识。通过视觉 - 语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略 (GSDE) 相结合，结果表明零样本预测也有益处。我们在三个基准测试集 (OfficeHome、VisDA 和 DomainNet) 上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

    Dec, 2023

  • OpenDAS: 开放词汇切分的领域适应

    我们提出了一种基于视觉语言模型的领域自适应方法，通过结合参数高效的提示微调和三元组损失训练策略，提高了开放词汇的普适性，并适应了视觉领域，改善了开放词汇分割任务中的性能。

    May, 2024

  • 跨域对比学习用于无监督域自适应

    该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估， 这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。

    Jun, 2021

  • 开放集域适应用于语义分割

    提出了一种用于语义分割的开放域适应方法，在目标域中包含未知类别，通过构建边界和未知形状感知的开放域域自适应模型 (BUS)，利用新颖的膨胀腐蚀对比损失函数来准确识别已知和未知类别的边界，并提出了一种新的领域混合增强方法（OpenReMix），此方法指导模型学习域和尺寸不变特征，以改善已知和未知类别的形状检测，通过广泛实验表明，与之前的方法相比，BUS 在具有挑战性的 OSDA-SS 场景中有效地检测未知类别。

    May, 2024

  • 基于提示学习的领域适应

    本文提出了一种新颖的无监督领域自适应学习范式 —— 通过提示学习的领域自适应 (DAPL)，通过嵌入域信息和利用预训练的视觉 - 语言模型进行分类，此方法在多个领域的基准测试数据上表现优异，并且训练效率高、易于实现。

    Feb, 2022

  • 基于领域和类别转移的升级模型

    本文提出了一种基于全局和本地聚类的学习技术（GLC），以实现知道领域和类别转换下已知数据样本的识别，并仅使用标准预训练源模型的知识从而拒绝那些 “未知” 的数据样本。我们检验了我们的方法在包括部分集、开放集和开放部分集 DA 等不同类别转化情境下的多个基准测试中相对于 UMAD 的优越性，值得注意的是，我们的方法在最具挑战性的开放部分集 DA 情境下比 UMAD 高出 14.8％。

    Mar, 2023

  • CLDA：对比学习用于半监督领域自适应

    本文提出了一种简单的对比学习框架，用于半监督域自适应，以构建域不变的预测模型，在三个领域适应基准数据集上取得最先进的性能表现。

    Jun, 2021

  • 基于基础模型的通用领域适应

    基于基础模型（如 CLIP 或 DINOv2），本文通过全面实证研究最新的通用域自适应方法，发现现有方法往往无法超越基准线表现；作者提出了一种简单的基于目标数据提炼的方法，并在所有通用分类率基准测试中实现了一致的改进，提出了新的评价指标 UCR 来解决使用现有的 H-score 度量时遇到的阈值敏感问题。

    May, 2023