MMAug, 2020

DeVLBert：学习去混淆视觉语言表征

PDF
TL;DR本文提出了 Deconfounded Visio-Linguistic Bert 框架，解决了视觉语言预训练中的跨域问题，并通过干预学习减轻数据集偏差，从而提高了模型的泛化能力。
out-of-domainvisio-linguistic pretrainingdeconfounded visio-linguistic bert frameworkdataset biasesintervention-based learning
发现论文，激发创造
  • 我们是否正确地进行预训练？更深入地挖掘视觉语言预训练

    该研究在研究预训练数据集的选择时发现，与下游任务相似的自动生成数据集是预训练的更好选择，而某些合理的预训练数据集对某些下游任务完全无效，这表明视听语言预训练仍需要简单的设计选择来实现接近最新成果的结果。

    Apr, 2020

  • 对比视觉语言预训练

    本文提出了一种基于对比学习的无偏置视觉 - 语言预训练方法，可以在多模态表示学习中获得更好的性能，在验证集 VQA、GQA 和 NLVR2 中取得了良好的结果。

    Jul, 2020

  • VL-BERT: 通用视觉语言表示的预训练

    本研究引入一个新的预可训练的通用视觉语言表示方法 ——Visual-Linguistic BERT，它采用了简单而强大的 Transformer 模型作为骨干网络，并将视觉和语言嵌入特征扩展为输入。通过在大规模的 Conceptual Captions 数据集上进行文本预训练，VL-BERT 可以适配大多数视觉语言下游任务，并在可视化常识推理、视觉问答、指称理解等下游任务中取得了不错的效果。

    Aug, 2019

  • ViLBERT：预训练无任务束缚的视觉语言表示，用于视觉与语言任务

    ViLBERT 是一种用于学习图像内容和自然语言的任务不可知联合表示的模型，并通过在多模态两个流中处理图像和文本输入，通过相互关注变压器层实现交互。我们通过在大型自动收集的概念字幕数据集上执行两个代理任务来预训练我们的模型，然后通过仅对基础体系结构进行轻微添加，将其转移到多个已建立的视觉语言任务 —— 视觉问答、视觉常识推理、指称表达和基于字幕的图像检索，我们观察到与现有特定任务模型相比，在所有四个任务中都实现了显着的改进，成为学习视觉与语言之间接地只作为任务培训的一部分，而不是对待视觉接地作为可预训练和可转移能力的代表性工作。

    Aug, 2019

  • 使用统一条件模型的自训练视觉语言 BERTs

    提出了一种自我训练的方法，用于从未标注的图像数据中训练 VL-BERT 模型，模型采用统一的有条件模型，能够执行零样本条件生成，通过该方法使用仅 300k 个未标注的额外数据，可以获得与训练了 300 万个图像数据的相似模型大小的模型相媲美或甚至更好的性能

    Jan, 2022

  • DiMBERT: 学习具有分离多模态注意的视觉语言基础表示

    DiMBERT 是一个新的框架，利用分离的注意力空间对多模态信息进行处理，在引入视觉概念的同时，在文本格式中表示视觉信息，从而加强对视觉和语言之间关联的捕捉，可以用于图像描述，视觉叙事和指称表达的分类任务，并可以轻松的集成到现有的视觉和语言模型中以提高性能。

    Oct, 2022

  • BERT 是否盲目？探索视觉语言预训练对视觉语言理解的影响

    本研究探讨了图像与语言预训练是否可以提高模型在需要隐含视觉推理的文本任务上的性能，提出了一系列用于探测文本编码模型视觉推理能力的任务，并说明了采用多模态预训练方法可以提高文本编码器的性能。

    Mar, 2023

  • 视觉与语言预训练

    本篇研究综述了当下 Vision-and-Language 领域内的预训练模型，并归纳总结了相关预训练技术、训练集以及下游任务。同时，文章还讨论了未来研究的多个方向。

    Jul, 2022

  • Airbert：面向视觉和语言导航的领域内预训练

    本研究介绍了一个大规模、多样化的 BnB VLN 数据集，并使用其进行预训练可以提高在各种 VLN 评估中的性能，特别是在挑战性的 few-shot VLN 评估上。

    Aug, 2021

  • 多模态不确定性感知视觉 - 语言预训练模型

    本文通过概率分布编码器（PDE）将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务并在视觉和语言联合任务上实现了最先进的结果。

    Oct, 2022