ICCVDec, 2023

错位，对比，提炼：再思语言 - 图像预训练中的错位问题

PDF
TL;DR提出了一种新的度量学习方法 ——Misalign, Contrast then Distill (MCD)，该方法利用图像和文本之间的错位作为额外的训练来源，通过预测增强图像和文本之间的连续错位程度，达到了多个分类和检索数据集中最先进的迁移能力。
contrastive language-image pretrainingdata-efficiencyimage-text misalignmentsmetric learningmisalign, contrast then distill (mcd)
发现论文，激发创造
  • 图文检索的动态对比蒸馏

    本研究提出了一种名为 DCD 的新型动态对比蒸馏框架，用于压缩大型 VLP 模型以改善跨模态图像文本检索（ITR）的效率和部署，其中涉及多模态对比学习、动态蒸馏等技术，实验证明在 MS-COCO 和 Flickr30K 基准上，将 DCD 策略应用于两种最先进的视觉语言预训练模型 VILT 和 METER 可加快推断至少 129 倍。

    Jul, 2022

  • 通过自己鉴别的编码器加速对比性语言 - 图像预训练

    利用 ECLIPSE 框架，在统一的文本嵌入空间内解决图像与文本不匹配问题，并在加速推理速度的同时，优于其他方法的性能表现。

    Dec, 2023

  • 错配探索：图像 - 文本错位的视觉与文本反馈

    本文提出了一种方法，利用大型语言模型和视觉定位模型自动构建训练集来提供检测到的文本和图像对之间的详细文本和视觉错位的解释，实验证明在我们的训练集上微调视觉语言模型可以在二元对齐分类和解释生成任务上优于强基线模型。

    Dec, 2023

  • 数据有效性视觉 - 语言对齐的课程学习

    利用 TOnICS 算法对使用少量成对数据的预训练语言和视觉表示模型进行对齐，从而实现了使用更少的数据在 BERT 和 VinVL 预训练模型上进行映射，超越了 CLIP 在零样本图像检索方面的表现。

    Jul, 2022

  • 图像 - 文本检索的多模态数据集精炼

    基于轨迹匹配的多模态数据集提炼方法在视觉语言数据集上表现出显著的改进，可通过只用 100 个训练对（数量减少一个数量级）几乎使图像到文本的检索准确率翻倍。

    Aug, 2023

  • 利用文本 - 图像对比模型的能力自动检测在线谣言

    本研究旨在探究对抗学习在虚假信息识别中的应用。通过开发自学模型并在 COSMOS 数据集上进行全面实验，我们发现采用对抗学习能够大幅减少训练数据，同时在数据量不足时显示出优于传统分类器的非匹配图像 - 文本对检测性能提高约 10% 的稳定性和可比性。

    Apr, 2023

  • 三重对比学习视觉语言预训练

    本研究提出了一种名为 TCL 的视觉 - 语言预训练三重对比学习框架，通过交叉模式对齐和内部模态自我监督来提高学习的代表性，并通过最大化图像 / 文本局部区域与全局摘要之间的平均互信息，取得了在图像 - 文本检索和视觉问答等任务中的优异表现。

    Feb, 2022

  • 采用对比学习改进文本生成图像技术

    本篇论文提出一种基于对比学习方法的文本到图像合成框架，旨在提升合成图像的质量和语义一致性，通过对 pretraining 和 GAN training 阶段进行改进，该方法在两个流行数据集上的实验结果表明，相对于 AttnGAN 和 DM-GAN，能够显著提高合成图像的质量。

    Jul, 2021

  • MCAD: 多教师跨模态对齐蒸馏以实现高效的图像 - 文本检索

    使用多教师跨模态对齐蒸馏技术 (MCAD)，通过在双流模型中融合单流特征提高学生模型的检索性能，同时实现高效的图像 - 文本检索任务，降低模型大小和终端设备部署的复杂性。

    Oct, 2023

  • 无监督图像翻译的多作物对比学习

    本文提出了一种新颖的基于对比学习的无配对图像翻译框架 MCCUT，通过多视图裁剪生成多样化的负样本，利用领域一致性误差函数将深度特征空间中的嵌入约束在一起，并采用 DCSE 模块来设计生成器以获得更好的结果。

    Apr, 2023