Feb, 2024

视觉语言表示学习中的展示和减少快捷方式

PDF
TL;DR基于对比训练的视觉语言模型主要依赖于学习图像和标题的通用表示。本文提出了一种新的训练和评估框架，注入了合成的快捷方式来减少学习中的难度和挑战，以改善对比视觉语言表示学习的性能。
vision-language modelscontrastive trainingsynthetic shortcutstask-optimal representationsshortcut learning framework
发现论文，激发创造
  • 保留字幕信息：在对比图像 - 字幕检索中预防快捷学习

    采用潜在目标解码 (LTD) 方法作为优化约束来降低图像 - 标题检索 (ICR) 方法的学习捷径，以提高其一般化能力和召回率。

    Apr, 2022

  • Synth$^2$: 用合成标题和图像嵌入提升视觉 - 语言模型

    我们提出了一种利用大语言模型（LLM）和图像生成模型的优点来创建合成图像 - 文本对的新方法，以用于视觉语言模型（VLM）的高效训练。通过预训练一个文本到图像模型来合成由 LLM 生成的图像嵌入，我们的方法能够用合成数据训练出仅需使用人工标注数据一小部分的 VLM，并在图像字幕任务中展现出相当的性能。此研究为生成大规模、可定制的图像数据集引入了一项有前景的技术，从而提升了 VLM 性能，拓展了其在各个领域中的适用性，并改善了数据效率和资源利用。

    Mar, 2024

  • 对比式视觉 - 语言对齐提高指示学习效率

    通过将 Contrastive 和 Generative 方法应用于 ViT 和 LLM 的表示对齐，我们提出了 CG-VLM 模型，有效地实现了视觉 - 语言的对齐，成为一种高效的指令学习器。

    Nov, 2023

  • 通过视觉表示精炼视觉 - 语言模型中的偏差感知

    通过使用简单的线性探测器，本研究探讨了如何从 CLIP 的嵌入中有效地提取特定任务的核心特征，结果显示 CLIP 的文本表示往往受到了有偏向的预训练数据中具有误导性的相关性的影响，实证结果表明相比文本嵌入，依赖于 CLIP 的视觉表示更为实用，可克服内置偏见。

    May, 2024

  • 自监督表示学习的自动快捷方式移除

    自我监督视觉表示学习中，通过预训练任务训练特征提取器，提出了使用 lens 网络来减少对抗攻击漏洞，通过对图片进行微小修改，最大限度地减少了自我监督学习中的 “捷径” 特征的影响。

    Feb, 2020

  • MLLMs 增强的视觉 - 语言表示学习

    我们展示了多模态大型语言模型（MLLMs）通过提高数据质量来增强视觉语言表示学习，使用 MLLMs 扩展每个图像的多个标题，通过 “文本切割” 方法来防止 MLLMs 引入的偏见和内在标题风格，并在图像文本检索中，在微调和零样本设置下分别获得 5.6〜35.0％和 16.8〜46.1％的 R@1 提升，并且我们的零样本结果可与目标数据集上的微调相媲美，鼓励更多对 MLLMs 的多方面使用的探索。

    Nov, 2023

  • 对比学习能否避免捷径解决方案？

    提出了一种名为隐式特征修改 (IFM) 的方法，以改进对比学习的特征提取，避免压抑重要的预测特征并提高视觉和医学成像任务的性能。

    Jun, 2021

  • 如果 CLIP 能说话：通过其首选概念描述理解视觉 - 语言模型的表示

    我们利用强化学习的方法提出了一种新颖的方法 ——Extract and Explore (EX2)，用于表征 Vision-Language Model (VLM) 的重要文本特征，并发现 VLM 在表示视觉概念时显著依赖于非视觉属性。

    Mar, 2024

  • 图像和文本的自监督减少对视觉快捷特征的依赖

    本文研究了深度学习模型中的 shortcut 特征在测试或部署时可能会产生的问题，提出了自我监督方法可以提高图像表示的健壮性和降低模型对 shortcut 特征的依赖，特别是在医学成像领域中具有一定的应用前景。

    Jun, 2022

  • 使用带噪文本监督扩展视觉和视觉语言表示学习

    本文利用包含超过 10 亿个图像备选文本对的嘈杂数据集，采用简单的双编码器体系结构通过对比损失，学习了图像和文本对的视觉和语言表示，显示出我们语料库的规模可以弥补其噪音，即使使用这样的简单学习方案也能实现最先进的表现，使跨模式搜索变得更加容易。

    Feb, 2021