Switch-BERT: 通过切换注意力和输入来学习建模多模态交互

ECCVJun, 2023

Switch-BERT: 通过切换注意力和输入来学习建模多模态交互

Switch-BERT: Learning to Model Multimodal Interactions by Switching Attention and Input

Qingpei Guo, Kaisheng Yao, Wei Chu

TL;DR本文提出了一种名为 Switch-BERT 的多模态机器学习模型，它通过引入可学习的分层和交叉层交互来优化注意力集合，从而解决了多样输入模态和固定结构下的模态不匹配问题，实现了良好的视觉问答、图像文本检索和指代表达理解等任务的性能。

Abstract

The ability to model intra-modal and inter-modal interactions is fundamental in multimodal machine learning. The current state-of-the-art models usually adopt deep learning models with fixed structures. They can achieve exceptional performances on specific tasks, but face a particularl

multimodal machine learning switch-bert vision and language representation learning modality mismatch problem attention modes

发现论文，激发创造

InterBERT：多模态预训练中的视觉 - 语言交互

该论文提出了一种基于多模态预训练的新型模型 InterBERT，通过预训练的方式实现了多个任务，包括掩码片段建模、掩码区域建模和图像与文本匹配，并在视觉和语言下游任务上进行了 fine-tuning，最终实现了基于主题的推荐和基于文本的图像检索。

Mar, 2020

ArchBERT: 神经架构和自然语言的双模理解

提出了一种用于联合学习和理解神经架构和自然语言的双模态模型 ArchBERT，引入了被称为 MAM 的预训练策略，提供了两个新的双模态数据集进行方法的训练和验证，通过一系列下游任务的实验验证了 ArchBERT 的性能。

Oct, 2023

DiMBERT: 学习具有分离多模态注意的视觉语言基础表示

DiMBERT 是一个新的框架，利用分离的注意力空间对多模态信息进行处理，在引入视觉概念的同时，在文本格式中表示视觉信息，从而加强对视觉和语言之间关联的捕捉，可以用于图像描述，视觉叙事和指称表达的分类任务，并可以轻松的集成到现有的视觉和语言模型中以提高性能。

Oct, 2022

视觉与语言还是视觉为语言？多模态 Transformer 中的跨模态影响

研究了预训练的视觉和语言 BERT 学习跨模态信息组合表示的方法，通过交叉模态输入消融来评估这些模型集成跨模态信息的程度，并发现最近提出的模型在处理缺失视觉信息的情况下比处理缺失文本信息的情况更难，表明这些模型不是对称的跨模态。

Sep, 2021

多轮口语对话中基于知识增强的 BERT 互联网络

本文研究了基于 BERT 的联合模型，利用知识关注机制和筛选相关知识三元组的门控机制相互利用两个 SLU 任务的对话上下文和动态信息进行建模，实验结果表明相对于其他竞争基线，该方法在两个复杂的多轮对话数据集上取得了相当大的改进。

Feb, 2022

ImageBERT：利用大规模弱监督图像 - 文本数据的跨模态预训练

本文提出了一种新的视觉 - 语言预训练模型 ——ImageBERT，用于图像 - 文本联合嵌入，该模型基于 Transformer，可以将不同的模态作为输入，并建模它们之间的关系。通过多阶段的预训练策略，可以提高预训练质量，最终在图像检索和文本检索任务上获得了新的最先进结果。

Jan, 2020

幕后揭秘：揭示预训练视觉语言模型的秘密

该论文研究了使用 Transformer 模型的大规模预训练模型在图像与语言（V+L）方面的应用，通过评估和探索内部机制，提供了关于多模式预训练及其注意力头的启示和指导。

May, 2020

UIBert：为界面理解学习通用多模态表示

本文提出了 UIBert，一种基于 transformer 的联合图像文本模型，通过在大规模未标记的 UI 数据上进行新颖的预训练任务学习 UI 及其组件的通用特征表示，以解决智能设备可访问性和简化使用的问题。实验表明，UIBert 在九个实际 UI 任务中，表现优于强大的多模态基线达到了最高 9.26% 的准确率。

Jul, 2021

ViLBERT：预训练无任务束缚的视觉语言表示，用于视觉与语言任务

ViLBERT 是一种用于学习图像内容和自然语言的任务不可知联合表示的模型，并通过在多模态两个流中处理图像和文本输入，通过相互关注变压器层实现交互。我们通过在大型自动收集的概念字幕数据集上执行两个代理任务来预训练我们的模型，然后通过仅对基础体系结构进行轻微添加，将其转移到多个已建立的视觉语言任务 —— 视觉问答、视觉常识推理、指称表达和基于字幕的图像检索，我们观察到与现有特定任务模型相比，在所有四个任务中都实现了显着的改进，成为学习视觉与语言之间接地只作为任务培训的一部分，而不是对待视觉接地作为可预训练和可转移能力的代表性工作。

Aug, 2019

XDBERT：从跨模态系统中提取视觉信息以改善语言理解的 BERT 知识蒸馏模型

本文旨在研究如何将预训练的异模态 transformers 的视觉信息提炼给语言编码器，提出了一个被称为 XDBERT 的新框架，经过训练后在常规语言理解评估（GLUE）、有对抗生成的情况（SWAG）以及可读性基准测试上比预训练的 BERT 表现更好，并分析了 XDBERT 在 GLUE 上的表现，证明了改进很可能是基于视觉语言的。

Apr, 2022