CVPRMay, 2024

FFF: 修正有缺陷的基础对比预训练会得到非常强大的视觉 - 语言模型

PDF
TL;DR本文研究视觉语言对比预训练中的问题，提出了解决负样本分配不正确和字幕质量低和多样性不足的有效方法，并通过使用 sigmoid loss 进行训练，在图像识别和图像检索方面取得了非常大的增益。
vision-language contrastive pre-trainingnoisecaption qualitynegative pairssigmoid loss
发现论文，激发创造
  • 知识增强：重新思考医学对比视觉 - 语言预训练

    本文提出了一种知识增强的对比视觉语言预训练（KoBo）框架，该框架将临床知识整合进视觉语言语义一致性的学习中，从而应用于分类、分割、提取和语义相关性的任务中，具有与零样本或少样本设置相当或更好的性能。

    Jul, 2023

  • 对比视觉语言细粒度理解中的同模态句式和排名跨模态硬负例

    为了解决 Vision and Language Models 对于细致的理解和 fine-grained 任务的挑战，本研究提出一种基于 intra-modal 和 cross-modal rank loss 的策略，该策略不需要额外的注释或参数，可应用于任何使用图像 - 文本对比损失训练的 VLMs。在应用于 CLIP 上时，该方法在三个细粒度基准测试上显著提高了性能，并增强了 X-VLM 在细粒度推理上的表现。

    Jun, 2023

  • 视觉 - 语言预训练中的虚假负样例转换与平滑化

    我们提出了一种名为 COSMO 的方法，通过对虚假负样本进行处理，尤其在难样本采样方面有很强的能力，来解决视觉语言预训练 (VLP) 中虚假负样本的问题。我们的方法基于最近开发的 GRouped mIni-baTch 采样 (GRIT) 策略，包括两个关键组成部分：一是有效的连接挖掘过程，用于识别并将虚假负样本转换为正样本；二是用于图像 - 文本对比损失 (ITC) 的标签平滑处理。我们的综合实验证明了 COSMO 在多个下游任务上的有效性，强调了在 VLP 中解决虚假负样本的重要性，甚至可能超过解决虚假正样本的重要性。此外，我们还证明了 COSMO 与最新的 BLIP-family 模型的兼容性。

    Dec, 2023

  • 图像字幕生成器也是可扩展的视觉学习者

    本文通过仔细匹配训练数据、计算和模型容量，公平地比较了对比预训练和图像字幕等两种预训练策略，并发现仅采用图像字幕训练也很有效，既可以产生与对比预训练编码器竞争的视觉编码器，也可以在视觉和语言任务上超越它们。

    Jun, 2023

  • 弱监督词组定位的对比学习

    本文介绍了一种通过优化单词 - 区域关注力最大化互信息的方法来学习短语定位，该方法通过利用经过语言模型引导的单词替换来构建有效的负面标题进行训练，进而实现对 CO-Captions 数据集的短语 grounding，使精度提高了 5.7%。

    Jun, 2020

  • 视觉语言预训练的过滤、蒸馏和难负样本

    通过对大规模嘈杂数据进行对比学习训练的视觉 - 语言模型正在变得越来越受欢迎用于零样本识别问题，本文在数据集噪声、模型初始化和训练目标三个方面对对比预训练管道进行了改进。通过 Complexity、Action、and Text-spotting（CAT）筛选策略、概念蒸馏以及重要性采样方法，我们的 DiHT 方法极大地提高了对零样本和几样本线性探测的效果。

    Jan, 2023

  • 面向持续视觉语言预训练的生成式负文本重播

    本研究针对连续多模态学习中的遗忘问题，通过伪文本回放和多模态知识蒸馏的方法，实现了基于图像和文本对的连续预训练，大幅提高了零样本图像分类和图像 - 文本检索任务的性能。

    Oct, 2022

  • CAVL：学习视觉与语言的对比和自适应表征

    本研究主要探讨了视觉与语言的联合预训练，提出了一种名为 CAVL 的视觉和语言的对比和自适应表示简单有效的方法。在下游任务中，我们将其应用于包括 VQA，VCR，NLVR，RPG，TIR 和 ZS-TIR 在内的六项主要任务中，并与基准模型进行比较，结果表明我们的方法具有明显的优势。

    Apr, 2023

  • 视觉语言预训练是否提高了词汇连接能力？

    本文研究比较基于视觉和语言的预训练模型和仅基于文本的预训练模型的语义表示，结果发现基于视觉和语言的模型在仅语言方面无法显著优于仅基于文本的模型，因此这种多模态预训练对于提高自然语言处理的效果仍需要进一步研究。

    Sep, 2021

  • 视觉与语言预训练

    本篇研究综述了当下 Vision-and-Language 领域内的预训练模型，并归纳总结了相关预训练技术、训练集以及下游任务。同时，文章还讨论了未来研究的多个方向。

    Jul, 2022