CVPRMar, 2024

分合：统一分离模式的非监督领域适应

PDF
TL;DR大型视觉语言模型（VLM）如 CLIP 在无监督域自适应任务中表现出良好的零样本学习性能，为了充分利用语言和视觉之间微妙的相互作用，本文引入了一种统一的模态分离（UniMoS）框架进行无监督域自适应，通过利用模态间差异研究的见解，我们设计了一种灵活的模态分离网络，将 CLIP 的特征明确地分解为与语言相关和与视觉相关的部分，我们提出的模态集成训练（MET）方法促进了模态无关信息的交换，同时保留了模态特定的细微差别，通过模态鉴别器在域间进行特征对齐，我们全面评估了三个基准数据集，结果显示我们的方法以极小的计算成本取得了新的最先进水平。
large vision-language modelsunsupervised domain adaptationunified modality separationmodality-ensemble trainingstate-of-the-art
发现论文，激发创造
  • Zoom-shot: 快速高效的无监督零样本迁移 CLIP 到视觉编码器的多模态损失

    通过 Zoom-shot 方法，利用多模态损失函数将 CLIP 潜空间与预训练视觉编码器的潜空间进行线性映射，从而在粗粒度和细粒度分类数据集上提升了现有的零样本能力，实现了下一代 VLMs 的开发。

    Jan, 2024

  • UNIMO-2: 端到端的统一视觉语言基础学习

    本文提出了一种联合学习视觉、文本和不对齐图像和文本语料库之间的符号对齐的端到端 UNIMO-2 统一模态预训练框架，采用 “基础学习” 方案，成功地提高了一些跨模态任务的性能与视觉和文本语义对齐。

    Mar, 2022

  • UniBoost: 无监督单模态预训练来提升零样本视觉语言任务能力

    使用大规模非监督单模型预训练可以提高图像 - 文本匹配的零样本性能和模型理解图像和文本关系的能力

    Jun, 2023

  • UNIMO：通过跨模态对比学习实现统一模态理解和生成

    本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。实验结果表明，UNIMO 显著改善了几个单模态和多模态下游任务的性能。

    Dec, 2020

  • UniFine: 一种用于零样本视觉 - 语言理解的统一和细粒度方法

    本文提出了一个统一的框架，以利用精细的信息实现零样本视觉语言学习，涵盖了多个任务，如视觉问题回答，SNLI-VE 和 VCR，并证实了该方法的有效性和泛化性。

    Jul, 2023

  • UNIMO-3：多粒度视觉语言交互表示学习

    本研究提出了 UNIMO-3 模型，旨在解决现有视觉 - 语言预训练模型中的跨模态交互问题，并能同时学习多模态的在层交互和跨层交互，实验结果显示该模型达到了最新工作的最好结果。

    May, 2023

  • VideoAdviser: 多模态迁移学习的视频知识蒸馏

    提出了一种名为 VideoAdviser 的视频知识蒸馏方法，用于实现高效性能的多模块转移学习；通过使用基于 CLIP 的教师模型向基于 RoBERTa 的学生模型提供丰富的多模态知识监督信号，从而在多个挑战性的多模态任务中实现了有效的知识转移。

    Sep, 2023

  • 强大的 CLIP：用于强大的大规模视觉 - 语言模型的无监督对抗微调的视觉嵌入

    我们提出了一种无监督的对抗微调方案来获得强大的 CLIP 视觉编码器，从而在依赖于 CLIP 的所有视觉下游任务（VLM，零样本分类）中获得强大的鲁棒性。

    Feb, 2024

  • u-HuBERT：统一的混合模态语音预训练与零样本迁移到未标记模态

    本文提出了 u-HuBERT，它是一个能够利用模态失效的自监督预训练框架，可以在保持优秀性能的同时，实现单模型处理多模态的语音输入。

    Jul, 2022

  • 利用单模编码器进行视觉语言任务的多模适应蒸馏

    提出了一种名为 MAD 的方法，可以使用预训练的单模态视觉和文本编码器对跨模态 VL 编码器进行自适应蒸馏，从而提高了跨模态学习的性能，特别是在 VCR 领域取得了 SOTA 表现。

    Apr, 2022