基于文本为主的分层高阶融合的多视角多模态交互情感分析

Dec, 2022

基于文本为主的分层高阶融合的多视角多模态交互情感分析

InterMulti:Multi-view Multimodal Interactions with Text-dominated Hierarchical High-order Fusion for Emotion Analysis

Feng Qiu, Wanzeng Kong, Yu Ding

TL;DR该研究提出了一种基于多模态信息的情感分析框架 ——InterMulti，并利用一种新颖的基于文本的 THHF 模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明，该方法的表现优于现有技术。

Abstract

Humans are sophisticated at reading interlocutors' emotions from multimodal signals, such as speech contents, voice tones and facial expressions. However, machines might struggle to understand various emotions due to the difficulty of effectively decoding emotions from the complex interactions between multimodal signals. In this paper, we propose a

multimodal emotion analysis intermulti framework text-dominated hierarchical high-order fusion module interaction representations state-of-the-art performance

发现论文，激发创造

EffMulti：高效建模复杂多模态交互以进行情感分析

本文提出了一种多模态情感分析框架 EffMulti，采用三种不同的多模态潜在表示来捕捉不同视角下的复杂情感交互，并提出了一种模态 - 语义层次融合方法来融合这些表示，实验结果表明，EffMulti 在进行情感分析方面表现极佳。

Dec, 2022

利用分层注意策略和词级对齐的多模态情感分析

本文研究了从多个数据来源中学习识别和解释人类情感和主观信息的多模态情感计算问题，提出了一种基于 attention 机制和单词级融合的分层多模态体系结构，以从文本和音频数据中分类识别发言级别的情感和情绪。结果表明，该模型在现有数据集上表现优异。

May, 2018

多模态情感识别和情感分析的多任务学习

本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

May, 2019

基于深度多模态学习的口语情感识别

本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

Feb, 2018

使用预训练转换器进行文本、语音和视频的多模态情绪识别

通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

Feb, 2024

基于层次融合和上下文建模的多模态情感分析

本论文提出了一种新的特征融合策略并应用在情感分析中，该策略通过分层融合两种模态，然后再将其与第三种模态融合，在个别话语的情感分析和视频剪辑的情感分析中均取得了优异的效果。

Jun, 2018

语音情感识别的实证研究与改进

本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

Apr, 2023

使用视觉、音频和文本特征进行多模态话语级情感分析

本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

May, 2018

面向个性化情感交互的多模态社交机器人

本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

Oct, 2021

基于门控机制的多模态情感分析

本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

Feb, 2020