Mar, 2023

自监督替换用于细粒度视觉语言预训练

PDF
TL;DR本文提出了一种无需对象注释的细粒度自我监督信号，其基于同义词句子改写（HSR）算法提供令牌级别的监督，并使用置换视觉语言建模（RVLM）框架，分别提供被替换语言对比（RLC）和被替换语言模型（RLM）两种方法来学习细粒度对齐，通过多项下游任务的广泛实验，证明了所提出方法的卓越性能。
fine-grained self-supervisionvision and language pre-traininghomonym sentence rewritingtoken-level supervisionmulti-modal learning
发现论文，激发创造
  • 通过对标题重写的方式，利用大型视觉语言模型进行微调来减轻细粒度的幻觉

    本文介绍了 ReCaption, 一个用于减少视觉 - 语言模型中细粒度物体幻觉的框架，并通过实验证明其有效性。

    Dec, 2023

  • 基于检索式多粒度对齐的无监督视觉语言预训练

    本文提出了一种无监督的图像与自然语言跨模态预训练方法，通过弱对齐的图像 - 文本语料库以及一组多层次的语义对齐预训练任务来构建理想的跨模态表示。该方法通过 VQA、NLVR2、Visual Entailment、RefCOCO + 等下游任务的评估，取得了在无监督设置下的最佳性能。

    Mar, 2022

  • 歌词：通过语义感知视觉对象增强细粒度语言视觉对齐和理解

    一种新的多模式预训练和指令微调范式 Lyrics，通过细粒度的跨模态协作，将从细粒度视觉精炼器中提取的局部视觉特征注入到查询转换器中，同时，在语言输入的边界框和标签方面使用从视觉精炼器中推导出的信息，通过两阶段训练方案实现模态融合，从而在各种视觉语言任务中取得了强大的性能和有希望的多模态理解和详细描绘能力。

    Dec, 2023

  • SimVLM：简单的弱监督视觉语言模型预训练

    本文提出了一种简约的视觉语言模型（Simple Visual Language Model）普及方法，使用大规模的弱监督数据，通过单一前缀语言建模目标进行端到端训练，并在不利用额外数据或任务特定的定制的情况下，在广泛的辨别和生成性视觉语言基准方面实现了具有新的最先进的结果，还展示了 SimVLM 获得了强大的泛化和转移能力，实现了零 - shot 行为。

    Aug, 2021

  • KD-VLP: 用目标知识蒸馏改善端到端的视觉与语言预训练

    本文提出了一种基于图片格特征和语言信息的端到端多模式表示学习框架，其中使用自监督的对象知识蒸馏以提高跨模态对齐的准确性和效率，并在广泛的视觉和语言任务上取得了竞争性的表现。

    Sep, 2021

  • 细粒度语义对齐视觉 - 语言预训练

    LOUPE 是一个 fine-grained semantically aligned vision-language pre-training framework，通过博弈论交互的新视角学习到精细的语义对齐，并进一步提出了一个基于 Uncertainty-Aware Shapley interaction 的神经网络模块来高效地计算博弈论交互。实验表明， LOUPE 在各种视觉 - 语言任务上均达到了最先进的性能。此外， LOUPE 实现了无需任何对象级人员注释和微调的目标检测和视觉定位的竞争性能，同时也开启了一个新的方向，即从大规模原始图像文本数据中学习精细语义。

    Aug, 2022

  • 多层次视觉语言预训练：将文本与视觉概念对齐

    提出了一种名为 X-VLM 的多粒度视觉语言预训练方法，通过定位图像中的视觉概念并将其与文本进行对齐，实现了多粒度对齐，并将其应用于下游视觉语言任务中取得了优秀的效果，并超越了现有的最先进方法。

    Nov, 2021

  • 对比式视觉 - 语言对齐提高指示学习效率

    通过将 Contrastive 和 Generative 方法应用于 ViT 和 LLM 的表示对齐，我们提出了 CG-VLM 模型，有效地实现了视觉 - 语言的对齐，成为一种高效的指令学习器。

    Nov, 2023

  • 基于相对表示的弱监督视觉语言预训练

    本研究提出了使用相对表示（relative representations）来构建跨模态锚点，从而实现高质量的图像 - 文本对预训练的 WVLP 框架 RELIT，并通过四个下游任务的实验表现得出了新的最先进结果。

    May, 2023

  • 无监督的视觉与语言预训练：无需平行图像和文本

    通过无监督预训练实现视觉和语言模型的学习，使用 “mask-and-predict” 方法预训练文本和图像数据，并引入目标识别模型检测到的对象标签作为两种模式之间的桥梁，在四个英语视觉和语言基准测试中获得了接近于使用对齐数据预训练的模型的性能，挑战了对于 V&L 预训练来说，对齐数据是必要的广泛看法，并显著减少了 V&L 模型的监督所需量。

    Oct, 2020