Mar, 2023

对比学习中的多模态表示再探讨：从块和标记嵌入到有限离散标记

HTML
PDF
TL;DR本文提出了一种基于Finite Discrete Tokens (FDT)的多模态表示方法，通过引入FDT tokens来代替原有的视觉片段和语言词，减小了不同语义级别和粒度间的差异，实现了更好的跨模态对齐和性能表现。
发现论文，激发创造
  • 视觉表征学习的多模态对比训练

    通过同时利用内部数据属性和跨模态关联的语义信息，开发了一种学习视觉表示形式的方法，其中包括多种类型的对比损失，从而提高了学习到的视觉表示的质量。该方法在COCO数据集上进行训练，可以被用于图像分类、目标检测、实例分割等下游任务，并在ImageNet数据集上实现了55.3%的顶级验证精度。

    Apr, 2021

  • 三重对比学习视觉语言预训练

    本研究提出了一种名为TCL的视觉-语言预训练三重对比学习框架，通过交叉模式对齐和内部模态自我监督来提高学习的代表性，并通过最大化图像/文本局部区域与全局摘要之间的平均互信息, 取得了在图像-文本检索和视觉问答等任务中的优异表现。

    Feb, 2022

  • 从共享对比语言图像预训练中学习视觉表征

    本篇研究探讨使用transformer模型进行多模态对比预训练的方法，发现优于原始的CLIP方法，并且支持参数量的降低，通过共享参数，实现了不同模态之间的信息交互和相近语义结构的转移。

    Jul, 2022

  • 多模态表示学习：演进、预训练及其应用的综述

    本综述论文全面介绍了深度学习多模态体系结构的演变和增强，以应对文本、视觉和音频特征的多样化跨模态和现代多模态任务：包括最新的任务特定的深度学习方法，多模态预训练目标，以及从最先进的预训练多模态方法到统一体系结构。本文结合具体数据集和案例分析展示多模态学习的挑战、间隔和潜在研究主题。

    Feb, 2023

  • RC3：正则化对比交叉语言交叉模态预训练

    该研究提出了RC^3 pre-training方法，该方法利用弱对齐的多语言图像-文本对进行跨语言、跨模态的视觉-语言预训练，并在下游的多模态任务中表现出更强的效果。

    May, 2023

  • 对比视觉语言细粒度理解中的同模态句式和排名跨模态硬负例

    为了解决Vision and Language Models对于细致的理解和fine-grained任务的挑战，本研究提出一种基于intra-modal和cross-modal rank loss的策略，该策略不需要额外的注释或参数，可应用于任何使用图像-文本对比损失训练的VLMs。在应用于CLIP上时，该方法在三个细粒度基准测试上显著提高了性能，并增强了X-VLM在细粒度推理上的表现。

    Jun, 2023

  • 提升图像-文本预训练中的细粒度理解

    我们介绍SPARC (SPARse Fine-grained Contrastive Alignment)，这是一种从图像-文本对中预训练更细粒度多模态表示的简单方法。SPARC结合了精细化的序列损失和对全局图像和文本嵌入进行对比的损失，以同时编码全局和局部信息。我们对这种方法进行了全面评估，并显示在依赖于粗粒度信息的图像级任务（如分类）以及依赖于细粒度信息的区域级任务（如检索、目标检测和分割）上改善了性能。此外，SPARC改善了模型的准确性和生成图像描述的能力。

    Jan, 2024

  • 通过困难负样本增强多模态对比学习中的概念理解

    通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉-语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

    Mar, 2024

  • 视觉对齐中的图像识别：优先考虑视觉相似性

    通过对比图像输入，对每个文本标记的预测值差异提供了强大的视觉关联指导，我们提出了对每个文本标记赋予不同贡献的方法，名为Contrastive ALignment (CAL)。我们的实验证明，CAL方法在各种基准数据集上始终改善了不同类型的VLM，并且与其他数据调整策略相比，我们的方法具有最小的额外计算开销。

    May, 2024

  • 缓解差距：研究提升CLIP中跨模态对齐的方法

    通过设计AlignCLIP，本文回答了共享多模态编码器参数空间是否减少模态间隙以及通过内部模态分离是否可以缓解间隙的两个主要问题，并通过大量实验证明了AlignCLIP在嵌入的跨模态对齐上取得了显著的改进，从而减少了模态间隙，并在零样本图像分类、零样本多模态检索和零样本语义文本相似性等多个下游评估中保持了性能。

    Jun, 2024