本文提出了一种多模态情感分析框架 EffMulti，采用三种不同的多模态潜在表示来捕捉不同视角下的复杂情感交互，并提出了一种模态 - 语义层次融合方法来融合这些表示，实验结果表明，EffMulti 在进行情感分析方面表现极佳。

Dec, 2022

本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

Oct, 2022

本文提出了一种基于 MISA 框架的多模态情感分析方法，该方法利用学习到的模态表示来帮助实现多模态信号的融合，从而提高任务预测的准确性。在多个情感分析基准数据集和 UR_FUNNY 数据集上，该方法表现出了明显的优越性，验证了其在多模态分析中的实用性。

May, 2020

本文提出了一种基于 PVAE 的多模态生成模型，可将共享因素和模态相关因素编码为不同的潜变量，用于生成符合不同语义和风格要求的条件数据，并利用发现的语义单元在两个音频 / 图像数据集上完成了定量和定性的评估。

May, 2018

通过排除每种数据类型并独立评估文本和布局数据，我们研究了文本、布局和视觉信息的相对预测能力，证明了针对关系提取任务训练联合表示的有效性。我们的实验表明，双模态的文本和布局方法表现最佳，同时文本是最重要的单一预测因子，布局几何形状也具有高度预测能力。此外，我们强调在哪些情况下视觉信息可以增强性能。

Nov, 2022

本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

May, 2023

多视角表示学习通过发现多视图一致性和解缠绕的信息边界，提出了一种旨在超越归纳偏见、确保表示的可解释性和泛化性的新型多视图表示解缠绕方法。实验证明了该方法在聚类和分类性能上优于其他 12 种方法，并且提取的一致性和特异性具有紧凑和可解释的特点。

Aug, 2023

本文提出一种优化跨多模态数据和标签的联合生成 - 判别目标函数的模型，将表示分解为多模态判别和模态特异性生成两组因子，实验结果表明该模型能够学习到有意义的多模态表示，并取得了领先水平的性能。

Jun, 2018

该研究提出了一种基于多模态信息的情感分析框架 ——InterMulti，并利用一种新颖的基于文本的 THHF 模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明，该方法的表现优于现有技术。

Dec, 2022

该论文提出了一种基于模态翻译的方法来学习稳健的联合表示，并使用循环一致性损失来保留所有模态的最大信息，从而实现了多模态情感分析方面的最新成果。

Dec, 2018