CVPRJan, 2023

视觉语言预训练的过滤、蒸馏和难负样本

PDF
TL;DR通过对大规模嘈杂数据进行对比学习训练的视觉 - 语言模型正在变得越来越受欢迎用于零样本识别问题，本文在数据集噪声、模型初始化和训练目标三个方面对对比预训练管道进行了改进。通过 Complexity、Action、and Text-spotting（CAT）筛选策略、概念蒸馏以及重要性采样方法，我们的 DiHT 方法极大地提高了对零样本和几样本线性探测的效果。
发现论文，激发创造
  • 关于蒸馏的令人惊讶的疗效作为替代预训练小模型的研究

    我们提出了一种针对小模型的训练方法，不需要吸收预训练的成本，却能获得相同的性能，并且通过知识蒸馏与对比学习的连接，能够有效地降低计算成本，提高训练速度，同时通过数据增强进一步改善性能。

    Apr, 2024

  • 通过困难负样本增强多模态对比学习中的概念理解

    通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

    Mar, 2024

  • 图文检索的动态对比蒸馏

    本研究提出了一种名为 DCD 的新型动态对比蒸馏框架，用于压缩大型 VLP 模型以改善跨模态图像文本检索（ITR）的效率和部署，其中涉及多模态对比学习、动态蒸馏等技术，实验证明在 MS-COCO 和 Flickr30K 基准上，将 DCD 策略应用于两种最先进的视觉语言预训练模型 VILT 和 METER 可加快推断至少 129 倍。

    Jul, 2022

  • 从视觉语言模型中提炼，以改善视觉任务中的 OOD 泛化能力

    Vision-Language to Vision-Align, Distill, Predict (VL2V-ADiP) is a proposed approach that aligns vision and language modalities to distill pre-trained features and superior generalization for state-of-the-art results in Domain Generalization using Vision-Language Models like CLIP.

    Oct, 2023

  • FFF: 修正有缺陷的基础对比预训练会得到非常强大的视觉 - 语言模型

    本文研究视觉语言对比预训练中的问题，提出了解决负样本分配不正确和字幕质量低和多样性不足的有效方法，并通过使用 sigmoid loss 进行训练，在图像识别和图像检索方面取得了非常大的增益。

    May, 2024

  • 图像 - 文本检索的多模态数据集精炼

    基于轨迹匹配的多模态数据集提炼方法在视觉语言数据集上表现出显著的改进，可通过只用 100 个训练对（数量减少一个数量级）几乎使图像到文本的检索准确率翻倍。

    Aug, 2023

  • 知识增强：重新思考医学对比视觉 - 语言预训练

    本文提出了一种知识增强的对比视觉语言预训练（KoBo）框架，该框架将临床知识整合进视觉语言语义一致性的学习中，从而应用于分类、分割、提取和语义相关性的任务中，具有与零样本或少样本设置相当或更好的性能。

    Jul, 2023

  • 错位，对比，提炼：再思语言 - 图像预训练中的错位问题

    提出了一种新的度量学习方法 ——Misalign, Contrast then Distill (MCD)，该方法利用图像和文本之间的错位作为额外的训练来源，通过预测增强图像和文本之间的连续错位程度，达到了多个分类和检索数据集中最先进的迁移能力。

    Dec, 2023

  • 视觉 - 语言预训练中的虚假负样例转换与平滑化

    我们提出了一种名为 COSMO 的方法，通过对虚假负样本进行处理，尤其在难样本采样方面有很强的能力，来解决视觉语言预训练 (VLP) 中虚假负样本的问题。我们的方法基于最近开发的 GRouped mIni-baTch 采样 (GRIT) 策略，包括两个关键组成部分：一是有效的连接挖掘过程，用于识别并将虚假负样本转换为正样本；二是用于图像 - 文本对比损失 (ITC) 的标签平滑处理。我们的综合实验证明了 COSMO 在多个下游任务上的有效性，强调了在 VLP 中解决虚假负样本的重要性，甚至可能超过解决虚假正样本的重要性。此外，我们还证明了 COSMO 与最新的 BLIP-family 模型的兼容性。

    Dec, 2023

  • 噪声对比估计中的困难负例理解

    本文探讨了在噪声对比估计中选择负面案例的重要性，发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的，我们开发了分析工具以理解硬负面案例的作用，并通过将负面分布设置为模型分布来减少误差，同时将硬负面案例与适当的评分函数相结合，取得了强大的零 - shot 实体链接结果。

    Apr, 2021