本文提出了一种混合模式的近似零样本多模态情感分析方法，结合手工提示和可学习提示，利用注意力机制优化提示编码器，在句子水平和方面水平数据集上取得了显著的性能优势。

Jun, 2023

本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

Feb, 2020

在人工智能领域，深度多模态语义理解已经引起了越来越多的关注，挑战主要集中在收集和标注高质量的多模态数据，突显了几次学习的重要性。本文针对这一背景下的两个关键任务：少样本多模态讽刺检测（MSD）和多模态情感分析（MSA），提出了一种基于统一视觉语言模型（VLM）的创新多模态软提示框架：MoPE-BAF（Mixture-of-Prompt-Experts with Block-Aware Prompt Fusion）。我们设计了三个软提示专家：文本提示和图像提示，以提取模态特定特征，丰富单模态表示；同时，提出了多模态交互的统一提示。此外，我们将 Transformer 层重组为多个块，并在相邻块之间引入跨模态提示注意力，以平稳实现从单模态表示到多模态融合的过渡。在少样本设置下的 MSD 和 MSA 数据集上，我们提出的模型不仅仅在参数（150M）上超越了 8.2B 模型 InstructBLIP，而且在 VLMs 或任务特定方法中也大大优于其他广泛使用的提示方法。

Mar, 2024

本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

Jul, 2017

本篇研究提出了一个基于相似性感知的多模态提示学习框架 (SAMPLE) 用于检测假新闻，通过三种提示模板和一种软性描述器分析，并采用自适应融合方法来减少因不相关的交叉模态特征注入噪音，实验表明相较于先前方法，SAMPLE 在两个基准多模态数据集中的 F1 值和准确性均有所提高。另外，SAMPLE 不论在少量数据或是数据丰富的情况下都优于其他方法。

Apr, 2023

提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

Dec, 2023

本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017

本论文提出了一种新的特征融合策略并应用在情感分析中，该策略通过分层融合两种模态，然后再将其与第三种模态融合，在个别话语的情感分析和视频剪辑的情感分析中均取得了优异的效果。

Jun, 2018

本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

May, 2023

本文提出使用提示向量来对齐模态，从而实现在低资源情况下，与其他多模态融合方法相当的性能，并且进一步表明这种方法对处理包含两种或两种以上数据模态的任务是模块化和参数高效的。

Mar, 2022