ECCVMar, 2022

视觉语言预训练的单流多级对齐

PDF
TL;DR利用对比损失进行的自监督视觉 - 语言预训练虽然有效，但由于双流体系结构仅在全局层面上对齐图像和文本表示法，因此忽略了细粒度对齐。本文提出了一种单通道体系结构，使用两个新任务在多个层次（即全局、细粒度图块 - 令牌和概念 / 语义层次）上对齐图像和语言，实现了更细粒度的对齐和更强大的数据效率，这两个新任务是对称跨模态重建和伪标签关键字预测。
self-supervised learningvision-language pretrainingcross-modal alignmentfine-grained patch-tokensemantic concepts
发现论文，激发创造
  • SemVLP: 多层次语义对齐的视觉语言预训练

    本文提出 SemVLP 预训练方法，通过单流预训练和双流预训练相结合，使用共享 Transformer 网络和可插入的跨模态注意模块，在不同的语义层次上对图像和文本进行联合对齐，以对齐跨模态表示，实验表明该方法可对齐不同语义粒度。

    Mar, 2021

  • 多层次视觉语言预训练：将文本与视觉概念对齐

    提出了一种名为 X-VLM 的多粒度视觉语言预训练方法，通过定位图像中的视觉概念并将其与文本进行对齐，实现了多粒度对齐，并将其应用于下游视觉语言任务中取得了优秀的效果，并超越了现有的最先进方法。

    Nov, 2021

  • 基于检索式多粒度对齐的无监督视觉语言预训练

    本文提出了一种无监督的图像与自然语言跨模态预训练方法，通过弱对齐的图像 - 文本语料库以及一组多层次的语义对齐预训练任务来构建理想的跨模态表示。该方法通过 VQA、NLVR2、Visual Entailment、RefCOCO + 等下游任务的评估，取得了在无监督设置下的最佳性能。

    Mar, 2022

  • 对比式视觉 - 语言对齐提高指示学习效率

    通过将 Contrastive 和 Generative 方法应用于 ViT 和 LLM 的表示对齐，我们提出了 CG-VLM 模型，有效地实现了视觉 - 语言的对齐，成为一种高效的指令学习器。

    Nov, 2023

  • X$^2$-VLM：图像和语言任务的多功能预训练模型

    这篇论文提出了一种名为 multi-grained vision language pre-training 的视觉语言联合预训练方法，它可以在多个粒度上学习视觉语言对齐。该论文还提出了一个名为 X$^2$-VLM 的预训练模型，它采用了模块化架构，可在图像文本任务和视频文本任务中实现最佳性能和模型规模间的良好平衡，并显示了其高可转移性，可以在任何语言或领域中使用。

    Nov, 2022

  • 语义增强的跨模态遮蔽图像建模及视觉 - 语言预训练

    我们提出了一个语义增强的视觉 - 语言预训练模型，通过引入局部语义增强方法和文字引导的遮蔽策略，实现了跨模态语义对齐，在多个下游视觉 - 语言任务中取得了最先进或有竞争力的性能。

    Mar, 2024

  • 多级交叉模态对齐图像聚类

    我們提出了一種多層次跨模態對齊方法，通過在三個層次（即實例級別、原型級別和語義級別）建立一個更小但更好的語義空間，對跨模態預訓練模型中的對齊進行改進，以提高下游任務的性能。實驗結果清楚地表明了我們新方法的優越性。

    Jan, 2024

  • MeDSLIP：医学双流语言 - 图像预训练用于细粒度对齐

    通过 Medical Dual-Stream Language-Image Pre-training (MeDSLIP) 框架，建立了视觉 - 语言的细粒度对齐，采用了一种新颖的视觉 - 语言的原型对比度学习方法 (ProtoCL) 来增强解剖和病理的关联性，并利用跨流内图像对比度学习 (ICL) 确保了同一图像中解剖和病理概念间的一致性共存，这种跨流正则化鼓励模型更全面地进行表示学习，在零 - shot 和监督微调设置下在三个公开数据集上 (NIH CXR14, RSNA Pneumonia, SIIM-ACR Pneumothorax) 进行了评估，在分类、定位和分割任务上优于六个领先的基于 CNN 的模型。

    Mar, 2024

  • 面向快速准确的图像文本检索与自监督细粒度对齐

    在这项工作中，我们在独立嵌入框架之上提出了一个图像 - 文本对齐模块 SelfAlign，通过自监督对比学习在概念级和语境级强制进行图像 - 文本对齐，提高了检索准确性同时保持了检索效率。

    Aug, 2023

  • 医学视觉语言预训练中的多任务配对掩蔽与对齐建模

    该研究提出了一种新的医学图像分析解决方案：基于多任务配对掩模对齐（MPMA）的统一 Med-VLP 框架，其中设计了全局和局部对齐（GLA）模块和记忆增强型跨模态融合（MA-CMF）模块，以实现更全面的跨模态交互，并在全部下游任务中优于以前的方法。

    May, 2023