Apr, 2022

保留字幕信息：在对比图像 - 字幕检索中预防快捷学习

PDF
TL;DR采用潜在目标解码 (LTD) 方法作为优化约束来降低图像 - 标题检索 (ICR) 方法的学习捷径，以提高其一般化能力和召回率。
image-caption retrievalcontrastive loss functionslatent target decodingoptimization constraintgeneralizability
发现论文，激发创造
  • 视觉语言表示学习中的展示和减少快捷方式

    基于对比训练的视觉语言模型主要依赖于学习图像和标题的通用表示。本文提出了一种新的训练和评估框架，注入了合成的快捷方式来减少学习中的难度和挑战，以改善对比视觉语言表示学习的性能。

    Feb, 2024

  • 独特的图像字幕化：借助 CLIP 引导强化学习的基准真实字幕

    用训练图像字幕模型的教师强迫方法生成的样本非常通用，而更具有独特性的字幕对于检索应用或生成描述图像的替代文本以提高可访问性非常有用。这篇论文提出了一种新的图像字幕模型训练策略，其中利用了不同方式的真实字幕，从而在保持高写作质量的同时生成高度独特的字幕。

    Feb, 2024

  • 图像字幕的对比学习

    本文提出一种基于对比学习的图像字幕生成方法，即在参考模型的基础上，通过两个约束条件，鼓励生成独特的字幕，从而提高字幕的质量和独特性。我们在两个挑战性数据集上测试了该方法，并证明它是通用的并可用于不同结构的模型。

    Oct, 2017

  • 通过缓解增强学习的瓶颈，实现切换到判别式图像字幕生成

    本文探讨了针对图像的生成式字幕生成模型具有过高泛化性质的问题，分析了词汇量限制造成的字幕不够详细的原因，并提出了一种鼓励低频词汇生成的简单方法，使得模型能够生成更具独创性的字幕。实验表明，这种方法有效提高了模型的字幕生成质量。

    Dec, 2022

  • 基于预训练和对比学习的图像差异字幕生成

    本文提出了一种基于自监督学习的图像差异描述任务的建模框架，并通过对比学习策略来提高视觉与语言的相关性，同时使用数据扩展方法利用多余的监督信息来拓宽有限的数据集，实验表明这种方法有效。

    Feb, 2022

  • 使用对比奖励提升基于参考的独特图片描述

    该研究提出了新的 Ref-DIC 基准和基于 Transformer 的 Ref-DIC 模型 TransDIC 及 TransDIC++，并采用新的指标 DisCIDEr 评估其生成字幕的准确性和独特性，实验结果表明 TransDIC++ 在两个新基准上优于其他现有模型。

    Jun, 2023

  • 利用标题注释学习视觉表征

    使用图像和标题的联合信息进行预训练可提高图像表征能力，该方法通过 image-conditioned masked language modeling（ICMLM）任务来实现，训练出的表征能够成功应用于多种目标任务。

    Aug, 2020

  • 减少文本编码器在零样本组合图像检索中的任务差异

    Composed Image Retrieval (CIR) using zero-shot setting and CLIP encoders can be improved by reducing task discrepancy through novel target-anchored contrastive learning for text encoders.

    Jun, 2024

  • 使用对比学习和面向任务的 CLIP 特征的组合图像检索

    利用 OpenAI CLIP 模型中的视觉和文本特征进行任务细化微调，然后通过训练 Combiner 网络来整合双模态信息，并提供用于检索的组合特征，结果表明这种方法在复合图像检索方面优于当前先进方法。

    Aug, 2023

  • 度量学习的经验适用于图像字幕检索吗？

    在基于图像标题检索的任务中，三元组损失与半硬负例已成为从头开始优化的方法的事实选择。最近度量学习的进展已经产生了比三元组损失在图像检索和特征表示等任务上效果更好的损失函数。本文通过比较两种基于图像标题检索方法上的三种损失函数来回答这个问题，结论是否定的：在基于图像标题检索的任务中，三元组损失与半硬负例仍然优于度量学习中新近引入的损失函数。我们使用一种计数方法来进行分析来获得更好的理解这些结果。

    Feb, 2022