在大型预训练变换器中集成多模态信息

Aug, 2019

在大型预训练变换器中集成多模态信息

Integrating Multimodal Information in Large Pretrained Transformers

Wasifur Rahman, Md. Kamrul Hasan, Sangwu Lee, Amir Zadeh, Chengfeng Mao...

TL;DR本文提出了一种名为 Multimodal Adaptation Gate (MAG) 的附加组件，该组件可以扩展 BERT 和 XLNet 的语言模态以接受面部表情和语音等多模态信息，在情感分析等任务上具有显著的性能优势。

Abstract

Recent transformer-based contextual word representations, including bert and xlnet, have shown state-of-the-art performance in multiple di

transformer-based contextual word representations bert xlnet multimodal language multimodal adaptation gate

发现论文，激发创造

适应性多模态 BERT 与层次融合用于情感分析

本文通过适配器模块与中间融合层来调整预训练语言模型，从而建立了适应多模态任务的基于 BERT 的体系结构 AMB，并在情感分析方面取得 3.4% 的误差相对降低率和 2.1% 的 7 级分类精度相对提高率的最好表现，展现了 AMB 的高效性与稳健性。

Dec, 2022

为预训练语言模型整合非语言线索而文本化多模态信息

本文研究了如何将非语言性特征（例如视觉和听觉）转化为对应的文本描述，并将其与口头文本结合，从而将多模态信息整合到基于文本的预训练大语言模型中。我们称此方法为 TextMI，并在情感、幽默和讽刺检测等多个下游任务中进行了 fine-tune，取得了令人满意的性能，因此提出将 TextMI 作为低资源环境下多模态行为分析任务的通用、有竞争力的基准。

Mar, 2023

多模态不对齐语言序列的多模态转换器

该研究介绍了一种称为 MulT 的多模态转换器，利用方向性一对一跨模态注意力在不显式对齐数据的情况下，通用地解决了模型多模态人类语言时序数据中的两个主要挑战，即内在数据非对准性和跨模态元素之间的长程依赖关系。

Jun, 2019

用于图像和文本分类的监督多模式双向转换器

该研究介绍了一种监督式多模态双向 Transformer 模型，该模型融合了文本编码器和图像编码器的信息，并在各种多模态分类基准任务上获得了最先进的性能。

Sep, 2019

交叉注意力不足：不协调感知的多模态情感分析和情绪识别

通过层级交叉模态变压器与模态门控的轻量级模型，本文在情感和情绪分析领域，解决了多模态数据融合存在的潜在问题，提出了一种确定主要模态并逐层整合辅助模态的方法，发现了交叉模态关注中的跨模态不一致性并在三个基准数据集上验证了该方法的有效性，并使模型参数数量减少到不到 100 万个，同时表现出具有竞争力的结果。

May, 2023

多通道注意力图卷积神经网络结合情感融合进行多模态情感分析

本文介绍了一个基于多通道注意力图卷积网络（MAGCN）的多模态情感分析框架，它将情感知识融合到跨模态交互学习中，并在多个数据集上实现了竞争性表现。

Jan, 2022

在预训练的 Transformer 中找到并编辑多模态神经元

通过一系列实验，我们提出了一种基于多模态神经元的新方法，用于识别基于变压器的多模态大型语言模型中的多模态神经元，并通过四个精心设计的定量评估指标突出了多模态神经元的三个关键属性。此外，我们介绍了一种基于识别的多模态神经元的知识编辑方法，用于将一个特定标记修改为另一个指定标记。我们希望我们的发现能够激发对多模态大型语言模型理解机制的进一步解释性研究。

Nov, 2023

基于 Adapter 微调的多模态生成模型增强方法 MAGMA

通过适配器微调的方法，将额外的模态结合到生成式语言模型中用于预训练，实现一个端到端的单一语言建模目标，从而取得了在开放式生成任务和多个流行 VL 基准测试上的最先进结果，同时只使用了 SimVLM 用于训练的样本数量的 0.2%。

Dec, 2021

融合模型用于改进视觉字幕生成

本文提出了一个通用的多模态模型融合框架，以及将预训练的辅助语言模型 (AuxLM) 和掩码语言模型 (MLM) 进行多模态融合，以改进生成的图像描述的质量和纠正其语法和语义错误。在三个基准数据集上的实验结果显示出了明显的改进。

Oct, 2020

多模态语言模型的性能评估

该研究分析了不同的多模态指导调优方法，并评估了它们在复杂推理、对话、图像字幕、多项选择题和二元分类等任务中的性能，揭示了在将多模态能力融入大型语言模型时的架构选择的关键见解，但当前方法存在局限性，未能充分解决丰富多样的多模态指导数据集的需求和生成响应的真实性和事实性问题，这些发现阐明了适应图像理解的语言模型的现有方法学限制，并为寻求利用多模态版本的大型语言模型的研究人员和实践者提供了有价值的指导。

Oct, 2023