本研究介绍了一个新颖的多模式多任务学习架构，该架构将 ALBERT 文本编码与 VGG-16 图像表示相结合，可用于分析互联网迷因，该方法在 SemEval-2020 Task 8 比赛的三个子任务中，均超过了官方基线结果。

Sep, 2020

本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

Aug, 2022

本研究提出了一种基于 CLIP 的新型模因情感分析框架，包括 CTM（任务 A 的合作教学模型）和 CEC（任务 B&C 的级联情感分类器），可准确分类来自社交媒体的模因的情感及其相应强度，取得了显著的结果。

Feb, 2023

本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

Oct, 2021

通过多模态特征的最优选择和融合，并结合神经网络以提高情感检测，我们比较了不同的融合方法，并研究了多损失训练对多模态融合网络中子网络性能的影响，发现了与子网络性能相关的有用发现。我们的最佳模型在三个数据集（CMU-MOSI、CMU-MOSEI 和 CH-SIMS）中达到了最先进的性能，并在大多数指标上优于其他方法。我们发现在多模态特征上进行训练可以提高单模态测试的性能，并且基于数据集注释模式设计融合方法可以增强模型性能。这些结果表明了在神经网络中优化特征选择和融合方法以增强情感检测的路线图。

Aug, 2023

通过整合文本、音频和视觉模态的专门情感编码器，我们提出了一种新颖的多模态情感识别和多模态情感因果抽取（MER-MCE）框架，与其他顶级团队相比，我们的方法利用模态特定特征来增强情感理解和因果推断，并进行了实验性评估来展示其优势，我们的成绩在加权 F1 得分中排名第三，仅相差 0.0339 分以及第一名队伍，相差 0.0025 分以及第二名队伍。

Mar, 2024

本文提出了一种基于量子理论的多模态情感分析框架，通过超定态和纠缠的方式对单模态内部交互和跨模态交互进行建模，并成功应用到了两个基准影片情感分析数据集上，普适性优于现有技术水平。

Mar, 2021

本研究提出了一种使用深度学习方法进行多模态表情包分类的特征提取方法。通过使用不同的多模态神经网络方法进行多模态特征提取，我们可以训练出一个分类器来识别表情包中的情感。

Jul, 2022

本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

Mar, 2022

本文提出了一种简单的神经网络模块，名为 Multimodal Transfer Module（MMTM），它能够在 CNN 特征层次结构的不同层级上进行慢速模态融合，利用多模态知识校准每个 CNN 流中的通道特征，用于特征模态融合的卷积层具有不同的空间尺寸。该方法具有最小的网络结构更改，可用于初始化每个分支的现有预训练权重，实验结果显示，我们的框架提高了知名多模态网络的识别准确性。

Nov, 2019