CVPRMar, 2023

对比学习中的多模态表示再探讨：从块和标记嵌入到有限离散标记

PDF
TL;DR本文提出了一种基于 Finite Discrete Tokens (FDT) 的多模态表示方法，通过引入 FDT tokens 来代替原有的视觉片段和语言词，减小了不同语义级别和粒度间的差异，实现了更好的跨模态对齐和性能表现。
发现论文，激发创造
  • 用于多通道视频 - 语言检索的预训练对比模型的快速适应

    探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

    Jun, 2022

  • 跨模态离散表示学习

    本文提出了一种自监督学习框架，借助向量量化创建的离散嵌入空间，实现了跨不同视图（模态）之间的表征学习和匹配，从而提升了模态检索任务的性能。实验表明，所提出的多模态精细离散化表征能够为高层次摘要表征提供补充，有效改善了跨模态检索的表现。

    Jun, 2021

  • 高效的令牌引导下的图像文本检索与一致多模态对比性训练

    本文提出了一种基于 Token-Guided Dual Transformer (TGDT) architecture 的图像文本检索框架，将粗粒度和细粒度表示学习结合到一个统一的框架中，并提出了一种名为同步多模态对比损失的新型训练目标，通过混合全局和本地跨模态相似性的两个阶段的推理方法，实现了与代表性最新方法相比极低的推理时间下，实现了最先进的检索表现。

    Jun, 2023

  • 模态转移中的杠杆点：比较仅语言和多模态词表示

    本研究比较了来自不同模型的单词嵌入，在 46 个语义参数中识别出最受视觉语境影响的单词，并发现视觉模态效应与涉及具体性的指示语义属性最相关，但也适用于多个特定的语义类别，以及与情感相关的联想语言表达的倾向属性。

    Jun, 2023

  • 魔法令牌：多模物体重新识别中的选择多样性令牌

    通过 EDITOR 框架中的多模态对象 ReID 方法实现对背景的抑制、特征重提取、空间频率令牌选择和特征细化，以产生更具辨别性的特征，从而提高在复杂视觉场景中的对象再识别效果。

    Mar, 2024

  • 多模态对比学习中的表示链接

    该研究开发了一个名为 CLIPPINGS 的多模态框架，它利用端到端训练，对称视觉和语言双编码器，并通过对比语言 - 图像预训练来将它们对齐，以学习一个度量空间，在这个空间中，给定实例的汇总图像 - 文本表示对于同一类别的表示非常接近，对于不同类别的表示则很遥远。该框架在两个应用方面的表现都超过了广泛使用的字符串匹配方法，并且在不需要任何标签的情况下，仅基于图像 - OCR 对进行自我监督训练的纯自监督模型也比受欢迎的字符串匹配方法表现更好。

    Apr, 2023

  • 基于 CLIP 的细粒度文本图像人员再识别

    提出了一种基于 CLIP 驱动的细粒度信息挖掘框架 (CFine)，旨在为 TIReID 提供强大的多模态知识，通过细粒度信息挖掘，建立跨模态对齐，并在多个基准测试上显示了其优越的性能。

    Oct, 2022

  • MLIP: 高效多角度语言图像预训练与全面数据利用

    通过引入频率转换和标记级别对齐的方法，提出了多视角语言 - 图像预训练（MLIP）来解决 CLIP 在数据利用效率方面的挑战，并通过标记合并方法来加快 CLIP 的速度。

    Jun, 2024

  • 多元化的联合视觉 - 语言标记化学习

    建立跨图片和文本的联合表示是视觉问答和视频问答等任务的重要步骤。本研究发现，这些表示不仅必须同时捕捉两种模态的特征，而且还应具有多样性，以获得更好的泛化性能。为此，提出了通过多样化分词学习过程的联合视觉语言表示学习，可以学习来自两种模态的足够解开的词元。观察到我们的方法在大多数情况下优于基线模型，并且与最先进的方法竞争力强。

    Jun, 2023

  • 检索增强对比视觉 - 文本模型

    本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

    Jun, 2023