提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

Aug, 2022

本文提出了一种利用多模态注意力网络（multi-modality attention network）进行股票预测的方法，将社交媒体中的语义信息和历史交易记录中的数字特征相结合，通过减少冲突来提高预测准确性（61.20%）和交易利润（9.13%），从而提高了股票预测的性能和为多模态融合提供了未来研究方向。

Dec, 2021

通过 ProMUSE 模型以及预训练语言模型和交叉模态对比对齐的方法，该研究提出了一种多模态股票交易量变动预测的解决方案，旨在利用金融新闻的通用知识建模，并通过实验证明了其在效果上的优越性。

Sep, 2023

通过层级交叉模态变压器与模态门控的轻量级模型，本文在情感和情绪分析领域，解决了多模态数据融合存在的潜在问题，提出了一种确定主要模态并逐层整合辅助模态的方法，发现了交叉模态关注中的跨模态不一致性并在三个基准数据集上验证了该方法的有效性，并使模型参数数量减少到不到 100 万个，同时表现出具有竞争力的结果。

May, 2023

本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

Feb, 2020

本文介绍了一个基于多通道注意力图卷积网络（MAGCN）的多模态情感分析框架，它将情感知识融合到跨模态交互学习中，并在多个数据集上实现了竞争性表现。

Jan, 2022

开发了一种新颖的深度结构 Gated Multimodal Embedding LSTM with Temporal Attention (GME-LSTM (A)) 模型，以单词级别进行多模态情感分析。在公开数据集 CMU-MOSI 上表现 State-of-the-art 的情感分类和回归结果，强调了 Temporal Attention Layer 在情感预测中的重要性和 Gated Multimodal Embedding 对于过滤有噪音的多模态的有效性。

Feb, 2018

研究了当模态样本稀疏对齐时，掩蔽多模态变换器架构学习鲁棒嵌入空间的能力，并通过测量嵌入空间的质量作为模态稀疏的函数来验证。提出了一种扩展的掩蔽多模态变换器模型，它在多头注意机制中结合了模态不完整通道，称为模态通道注意（MCA）。使用两个数据集进行实验，分别为多模态情感识别的 CMU-MOSEI 和多组学的 TCGA。结果表明，在大多数样本中，模型能够学习到统一和对齐的嵌入空间，即使只有四个模态中的两个。结果还表明，即使没有模态稀疏，提出的 MCA 机制仍能提高生成嵌入空间的质量、召回指标以及下游任务的性能。

Mar, 2024

本文提出了一种新的模型 —— 门控双向对齐网络（GBAN），该模型利用注意力机制的双向对齐网络和一种新颖的分组门控融合层来明确捕捉语音和文本之间的对齐关系，并在不同模态中集成表示，从而在 IEMOCAP 数据集上优于现有的最先进的多模态方法。

Jan, 2022

该研究提出了一种名为条件注意融合的新型多模态融合策略，将长短期记忆循环神经网络应用为基础单模态模型，自动决定分配给不同情感模态的权重，获得了在情感价值预测方面优于多种常见融合策略的实验结果。

Sep, 2017