Jan, 2024

提升图像-文本预训练中的细粒度理解

HTML
PDF
TL;DR我们介绍SPARC (SPARse Fine-grained Contrastive Alignment)，这是一种从图像-文本对中预训练更细粒度多模态表示的简单方法。SPARC结合了精细化的序列损失和对全局图像和文本嵌入进行对比的损失，以同时编码全局和局部信息。我们对这种方法进行了全面评估，并显示在依赖于粗粒度信息的图像级任务（如分类）以及依赖于细粒度信息的区域级任务（如检索、目标检测和分割）上改善了性能。此外，SPARC改善了模型的准确性和生成图像描述的能力。
发现论文，激发创造
  • 将视觉区域与文本概念对齐以实现语义驱动图像表征

    该论文的研究旨在使用一组集成的视觉区域和相应的文本概念来表示图像，从而反映出特定的语义。为此，研究人员构建了互相迭代注意力（MIA）模块，并将该方法在图像字幕和视觉问答等任务中得到了验证。结果表明，该方法对于图像相关应用具有广泛的泛化能力，并且能将基线模型的性能提升到了一个新的水平。

    May, 2019

  • FILIP：细粒度的交互式语言图像预训练

    本文介绍一种利用跨模态后期交互机制实现精细级别对齐的大规模Fine-grained互动语言-图像预训练（FILIP）方法，并构建了一个用于预训练的新的大规模图像-文本对数据集。实验结果显示，FILIP在多个视觉-语言任务中实现了最先进的性能，包括零-shot图像分类和图像-文本检索。

    Nov, 2021

  • 基于检索式多粒度对齐的无监督视觉语言预训练

    本文提出了一种无监督的图像与自然语言跨模态预训练方法，通过弱对齐的图像-文本语料库以及一组多层次的语义对齐预训练任务来构建理想的跨模态表示。该方法通过VQA、NLVR2、Visual Entailment、RefCOCO+等下游任务的评估，取得了在无监督设置下的最佳性能。

    Mar, 2022

  • 数据有效性视觉 - 语言对齐的课程学习

    利用TOnICS算法对使用少量成对数据的预训练语言和视觉表示模型进行对齐，从而实现了使用更少的数据在BERT和VinVL预训练模型上进行映射，超越了CLIP在零样本图像检索方面的表现。

    Jul, 2022

  • 使用细粒度帧采样的对比视频语言学习

    FineCo使用Fine-grained Contrastive Loss对视频帧进行抽样，以更好地学习视频和语言表示，从而提高跨模态对应性和在文本-视频检索和视频问答数据集上取得了有竞争力的成果，尤其是在YouCookII上实现了最先进的性能。

    Oct, 2022

  • 对比学习中的多模态表示再探讨：从块和标记嵌入到有限离散标记

    本文提出了一种基于Finite Discrete Tokens (FDT)的多模态表示方法，通过引入FDT tokens来代替原有的视觉片段和语言词，减小了不同语义级别和粒度间的差异，实现了更好的跨模态对齐和性能表现。

    Mar, 2023

  • 高效的令牌引导下的图像文本检索与一致多模态对比性训练

    本文提出了一种基于Token-Guided Dual Transformer (TGDT) architecture的图像文本检索框架，将粗粒度和细粒度表示学习结合到一个统一的框架中，并提出了一种名为同步多模态对比损失的新型训练目标，通过混合全局和本地跨模态相似性的两个阶段的推理方法，实现了与代表性最新方法相比极低的推理时间下，实现了最先进的检索表现。

    Jun, 2023

  • 对比式视觉-语言对齐提高指示学习效率

    通过将Contrastive和Generative方法应用于ViT和LLM的表示对齐，我们提出了CG-VLM模型，有效地实现了视觉-语言的对齐，成为一种高效的指令学习器。

    Nov, 2023

  • SyCoCa: 对称化的关注屏蔽对齐的对比式字幕生成器

    当前视觉语言模型研究的基础主题是语言和视觉之间的多模态对齐。对比式字幕生成器 (CoCa) 是一种代表性方法，它将对比语言-图像预训练 (CLIP) 和图像字幕 (IC) 集成到统一框架中，取得了令人印象深刻的结果。本文提出了一种称为对称式对比式字幕生成器 (SyCoCa) 的方法，从全局和局部表达水平上引入图像和文本交互，以实现多模态对齐。在实验中，我们验证了所提出方法的有效性。

    Jan, 2024

  • Finer: 大规模视觉语言模型中细粒度视觉概念识别的研究与增强

    最近在指导的大型视觉语言模型方面取得的进展，使得模型能够轻松生成高层次的基于图像的解释。然而，我们的工作揭示了这些模型在细粒度的视觉分类方面的缺陷，并且我们提出了一个多粒度属性为中心的评估基准，用于评估大型视觉语言模型的细粒度视觉理解能力并提供显著改进的可解释性。

    Feb, 2024