EMNLPNov, 2022

UniMSE: 统一多模态情感分析与情感识别

PDF
TL;DR本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。
multimodal sentiment analysisemotion recognition in conversationknowledge-sharing frameworkmodality fusioncontrastive learning
发现论文，激发创造
  • UniSA: 统一情感分析的生成框架

    通过引入任务特定提示方法和多模态生成框架 UniSA，我们提出了一种统一所有情感分析子任务的方法，并将主要子任务的基准数据集整理成了新的情感分析评估基准 SAEval。我们设计了新颖的预训练任务和训练方法，使模型能够在不同子任务中学习一般性的情感知识，从而提高模型的多模态情感感知能力。实验结果表明，UniSA 在所有子任务上表现出与最先进方法相当的性能，并在情感分析的各种子任务中具有很好的泛化能力。

    Sep, 2023

  • 情感分析的混合多模态特征提取、挖掘和融合

    本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

    Aug, 2022

  • 多模态情感分析的数据不一致性评估

    多模态情感分析中的情感语义一致性是一个普遍存在的挑战，我们通过引入模态冲突的测试集评估传统的多模态情感分析模型和多模态大型语言模型的性能，发现传统模型在面对语义冲突数据时表现出显著的性能降低，并指出了多模态情感分析中多模态大型语言模型的缺点。我们的研究提出了一个新的挑战，并为情感分析系统的未来发展提供了宝贵的见解。

    Jun, 2024

  • 基于互信息最大化与最小化和身份嵌入的多模态情感分析的多模态表示学习

    本研究提出了一种基于互信息最大化和最小化以及身份嵌入（MMMIE）的多模态表示模型，以更好地应对不同模态之间的异质性差距和上下文动态。实验结果表明，该模型在两个公共数据集上的表现具有有效性。

    Jan, 2022

  • AMuSE: 面向群体对话的自适应多模态情感分析

    通过提出一种多模态注意力网络，将跨模态注意力注入每个层级的特定模态中，从而整合多模态数据特征，实现情感识别，并通过多模态可解释性可视化模块使模型的情感预测能够理解其推理过程。

    Jan, 2024

  • MISA: 多模态情感分析的模态不变和模态特定表示

    本文提出了一种基于 MISA 框架的多模态情感分析方法，该方法利用学习到的模态表示来帮助实现多模态信号的融合，从而提高任务预测的准确性。在多个情感分析基准数据集和 UR_FUNNY 数据集上，该方法表现出了明显的优越性，验证了其在多模态分析中的实用性。

    May, 2020

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • 多模态情感识别和情感分析的多任务学习

    本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

    May, 2019

  • 基于多任务学习和多模态动态融合网络的语音情感识别

    本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

    Mar, 2022

  • 通过偏见净化实现多模态情感分析解偏

    通过使用因果关系而非传统的似然方法，基于多模态情感分析（MSA）的多模式对比事实推断情感（MCIS）分析框架能够从具有有害偏见的观察中做出无偏决策，并有效地减轻数据集偏差的问题。

    Mar, 2024