MMMay, 2020

MISA: 多模态情感分析的模态不变和模态特定表示

PDF
TL;DR本文提出了一种基于 MISA 框架的多模态情感分析方法，该方法利用学习到的模态表示来帮助实现多模态信号的融合，从而提高任务预测的准确性。在多个情感分析基准数据集和 UR_FUNNY 数据集上，该方法表现出了明显的优越性，验证了其在多模态分析中的实用性。
multimodal sentiment analysismodality representationmisasentiment analysis benchmarksmultimodal humor detection
发现论文，激发创造
  • UniMSE: 统一多模态情感分析与情感识别

    本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

    Nov, 2022

  • 基于互信息最大化与最小化和身份嵌入的多模态情感分析的多模态表示学习

    本研究提出了一种基于互信息最大化和最小化以及身份嵌入（MMMIE）的多模态表示模型，以更好地应对不同模态之间的异质性差距和上下文动态。实验结果表明，该模型在两个公共数据集上的表现具有有效性。

    Jan, 2022

  • 通过偏见净化实现多模态情感分析解偏

    通过使用因果关系而非传统的似然方法，基于多模态情感分析（MSA）的多模式对比事实推断情感（MCIS）分析框架能够从具有有害偏见的观察中做出无偏决策，并有效地减轻数据集偏差的问题。

    Mar, 2024

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • 跨模态门控注意力融合用于多模态情感分析

    提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

    Aug, 2022

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 基于大规模语言模型的可解释的多模态情感分析

    本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

    May, 2023

  • MOSI：网络观点视频中情感强度和客观性分析的多模态语料库

    本文提出了第一个在线视频情感和主观分析的观点级标注语料库 Multimodal Opinion-level Sentiment Intensity dataset（MOSI），并介绍了一种新的多模态融合方法，共同建模口语和视觉手势。

    Jun, 2016

  • 自我监督多任务学习的多模态情感分析中学习特定于感知模式的表示

    本文设计了一个基于自监督学习策略的标签生成模块，通过联合训练多模态和单模态任务来分别学习一致性和差异，采用权重调整策略来平衡不同子任务的学习进度，验证了自动生成的单模态监督标签的可靠性和稳定性，超过了现有的最先进方法和人工注释的单模态标签。

    Feb, 2021

  • 情感分析的混合多模态特征提取、挖掘和融合

    本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

    Aug, 2022