Jan, 2024

AM^2-EmoJE：基于联合嵌入学习的对话中自适应缺失模态情感识别

PDF
TL;DR提出了 AM^2-EmoJE 模型，通过联合嵌入学习实现了在对话中通过自适应缺失模态的情感识别，该模型不仅相比与最先进的多模态方法展示了更优越的性能，还通过有效地利用肢体语言取代面部表情，展示了增强的隐私特性。
发现论文，激发创造
  • 通过跨模态情感嵌入训练加强单模态情感识别

    提出了一种名为 EmoBed 的跨模态情感嵌入框架，它旨在利用其他辅助模态的知识来提高情感识别系统的性能，该框架包括共享识别网络或共享情感嵌入空间的联合多模式训练和跨模态训练两个主要学习组件，实验证明该框架在情感识别方面具有明显的优势。

    Jul, 2019

  • AMuSE: 面向群体对话的自适应多模态情感分析

    通过提出一种多模态注意力网络，将跨模态注意力注入每个层级的特定模态中，从而整合多模态数据特征，实现情感识别，并通过多模态可解释性可视化模块使模型的情感预测能够理解其推理过程。

    Jan, 2024

  • M2R2: 迭代数据增强的缺失模态鲁棒情感识别框架

    本文讨论了缺失情感识别对话（ERC）任务中对话级情感识别以及不确定模式下的问题。我们提出了一种基于缺失模态的鲁棒情感识别框架（M2R2），其中通过学习通用表示进行迭代数据增强来训练情感识别模型。该框架采用了 Party Attentive Network（PANet）来跟踪所有发言人的状态和上下文，并通过采用与其他参与者之间的关注机制和对话主题来使对多时间和多方发言的依赖性分散化，从而解决了情感识别中的缺失问题。同时，我们还通过以对抗策略提高了缺失数据插值方法的数据增强效果，从而为缺失模态情感识别问题建立了额外特征。广泛的实验证明了我们的方法比基线更有效，适用于不同数据集的缺失模态情感识别。

    May, 2022

  • 联合嵌入镜头下的情感分析

    本文通过联合嵌入技术 (JE) 进行 Meme 情感分析，结果较之前技术略有提升，旨在解决 Meme 在社交媒体上传播仇恨和虚假信息等问题。

    Nov, 2021

  • 喜悦：多模态情感识别的联合模态融合和图对比学习

    通过多模态情感识别，我们提出了一种融合多模态、图对比学习的方法（Joyful），实现全局情境特征与单一模态特征的深度交互与融合，并在三个基准数据集上实验，显示 Joyful 具有最先进的性能。

    Nov, 2023

  • 适用于低资源多模态情感识别的情感嵌入模型转移技术

    本研究提出了一种基于情感嵌入的模态可转移模型，通过学习映射函数将情感嵌入从文本空间转移到视觉和声学空间，进行多模态情感识别，在零 - shot 和 few-shot 情感识别场景下达到了最先进的性能。

    Sep, 2020

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • EAMM: 基于音频的情感感知运动模型实现一次性情感对话人脸

    本文提出 Emotion-Aware Motion Model (EAMM)，结合音频与表情视频生成单次具有真实感情模式的表情化人脸。使用无需监督的零级和一级关键点运动生成姿态，再将情感相关的面部动态表示为线性可加位移，并实现了令人满意的结果。

    May, 2022

  • EmoNets: 多模深度学习方法用于视频情感识别

    本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。

    Mar, 2015

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018