本文提出了一种名为 Multimodal Adaptation Gate (MAG) 的附加组件，该组件可以扩展 BERT 和 XLNet 的语言模态以接受面部表情和语音等多模态信息，在情感分析等任务上具有显著的性能优势。

Aug, 2019

本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

Jul, 2017

该研究探讨了多模态情感识别问题，提出了使用迁移学习的方法，结合各种预训练模型和多级融合方法，以及多粒度特征提取的框架，从而在 IEMOCAP 数据集上取得了比最佳基线法高 1.3％的性能表现。

Jul, 2022

开发了一种新颖的深度结构 Gated Multimodal Embedding LSTM with Temporal Attention (GME-LSTM (A)) 模型，以单词级别进行多模态情感分析。在公开数据集 CMU-MOSI 上表现 State-of-the-art 的情感分类和回归结果，强调了 Temporal Attention Layer 在情感预测中的重要性和 Gated Multimodal Embedding 对于过滤有噪音的多模态的有效性。

Feb, 2018

这篇研究通过在两种模态数据上使用预训练模型进行微调，使用 K 层多头注意机制进行下游融合，设计两种辅助任务以提高情感识别的表现，相比其他最先进的模型在 IEMOCAP 数据集上实现了更好的性能。

Feb, 2023

本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

Oct, 2020

本研究提出了一种名为 DAM 的去偏见方法，通过 Adapter 模块的集成，实现去偏见的独立功能，该方法在三个分类任务中，具有效性、增加了公平性、同时保持了核心模型的效能。

Feb, 2023

通过利用多个信息源（如语言、视频和音频），多模态情感分析（MSA）证明了其有效性，但不同模态间可能存在情感不相关和冲突的信息，从而限制了进一步提高性能。为了缓解这个问题，我们提出了自适应语言引导的多模态 Transformer（ALMT），它通过自适应的超模态学习（AHL）模块，在不同尺度上利用语言特征的指导从视觉和音频特征中学习抑制不相关和冲突的表示。通过获取超模态表示，该模型可以通过多模态融合获得互补和联合表示，以实现有效的 MSA。在实践中，ALMT 在几个知名数据集（如 MOSI，MOSEI 和 CH-SIMS）上实现了最先进的性能，并通过大量割舍实验证明了我们的抑制不相关和冲突的机制的有效性和必要性。

Oct, 2023

通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

Sep, 2020

本研究提出了一种方法，在参数高效微调（PEFT）环境中将语言结构注入到预训练语言模型中。我们使用一种新颖的语言专家混合体架构，将编码不同语言结构的并行适配器模块进行组合，并使用 Gumbel-Softmax 门来确定模型每一层中这些模块的重要性。为了减少参数数量，在修剪专家之前，我们首先对模型进行了固定步骤的训练。我们用三种不同的预训练模型进行实验，结果表明我们的方法在具有相当数量的参数的情况下，能够胜过最先进的 PEFT 方法。此外，我们还提供了额外分析，以检查和提供未来研究的见解。

Oct, 2023