本研究提出了一个名为交互规范相关网络（ICCN）的模型，利用文本、音频和视频的特征之间的相关性来提高多模态情感分析和情感识别的准确性，该模型通过深度规范相关分析（DCCA）来学习所有三种模式之间的关联，并在多个基准数据集中进行了测试。

Nov, 2019

本文提出了一种基于MISA框架的多模态情感分析方法，该方法利用学习到的模态表示来帮助实现多模态信号的融合，从而提高任务预测的准确性。在多个情感分析基准数据集和UR_FUNNY数据集上，该方法表现出了明显的优越性，验证了其在多模态分析中的实用性。

May, 2020

通过提出一种基于Transformer的新型融合方法TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

Sep, 2020

该研究提出了一个新的端到端的网络，使用双模态配对表示执行融合和分离，并利用带有门控机制的Transformer架构进一步提高了最终输出，在CMU-MOSI、CMU-MOSEI和UR-FUNNY三个数据集上的实验结果验证了该模型明显优于SOTA。

Jul, 2021

本文提出了一种名为EMT-DLFR的通用且统一的框架，以解决当前多模态数据建模过程中的两个主要挑战：一是无法进行未对齐的多模态数据中的跨模态交互，而是存在随机模态特征缺失问题，此框架令多模态交互更加高效且应对缺失数据具有更强的鲁棒性。

Aug, 2022

本研究提出了一种基于深度学习的多模态情感分析的表示学习方法，使用协方差矩阵来捕捉模态之间的共享信息，同时采用基于自监督学习策略的标签生成模块来捕捉模态的私有信息，并使用多任务学习来帮助模型关注模态差异训练数据。实验结果表明，该方法在多个公共数据集上表现优于现有的同类方法。

May, 2023

本研究旨在探讨每种模态对Multimodal Machine Learning模型的影响，并针对不同分类任务的数据集和模型，提出了一种确定每种模态对Multimodal Machine Learning模型的影响的方法。研究结果对于理解多模态学习中每个模态的作用，并为该领域的未来发展提供了有价值的见解。

Jun, 2023

通过利用多个信息源（如语言、视频和音频），多模态情感分析（MSA）证明了其有效性，但不同模态间可能存在情感不相关和冲突的信息，从而限制了进一步提高性能。为了缓解这个问题，我们提出了自适应语言引导的多模态Transformer（ALMT），它通过自适应的超模态学习（AHL）模块，在不同尺度上利用语言特征的指导从视觉和音频特征中学习抑制不相关和冲突的表示。通过获取超模态表示，该模型可以通过多模态融合获得互补和联合表示，以实现有效的MSA。在实践中，ALMT在几个知名数据集（如MOSI，MOSEI和CH-SIMS）上实现了最先进的性能，并通过大量割舍实验证明了我们的抑制不相关和冲突的机制的有效性和必要性。

Oct, 2023

提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

Dec, 2023

通过合作情感代理机制，我们提出了一种新的多模态表示学习（MRL）方法，用于多模态情感分析（MSA），通过模态-情感解缠（MSD）和深度相空间重构（DPSR）模块高效捕捉情感变化。通过精心设计的任务特定交互机制，我们展示了该方法在多模态情感分析和多模态情绪识别任务中的有效性。

Apr, 2024