Mar, 2022

M-MELD: 一个用于情感识别的多语言多方数据集

PDF
TL;DR本研究提出 Multilingual MELD（M-MELD）数据集和一种使用序列和对话语境的 DiscLSTM 方法，旨在进行跨语言的情感识别，其计算效率高且表现优于现有文献中大多数单模态文本方法。
emotion recognitionmultilingual melddisclstmconversational discourse contextcross-lingual encoder
发现论文，激发创造
  • MELD：情感识别对话中的多模态多方数据集

    提出了一个多模态的语音情感对话数据集 MELD，包含超过两个演讲者的大规模多模态多方情感对话，并且证明了情境和多模态信息对会话中的情感识别的重要性。

    Oct, 2018

  • MELD-ST：一种情感感知的语音翻译数据集

    本文强调在语音翻译中考虑情感的重要性，并介绍了 MELD-ST 数据集，该数据集用于情感感知的语音翻译任务，包括英至日和英至德语言对。每个语言对都包含约 10,000 个用 MELD 数据集进行情感标注的话语。对数据集使用 SeamlessM4T 模型进行基线实验发现，在某些情况下，通过加入情感标签进行微调可以提高翻译性能，进一步突显了情感感知语音翻译系统需要进一步研究的重要性。

    May, 2024

  • TelME：基于教师引导的对话情感识别的多模融合网络

    通过教师引导的多模融合网络（TelME），本文提出了一种在对话系统中实现情绪识别的方法，通过跨模态知识蒸馏来提高非语言模态在情绪识别中的功效，并使用学生网络支持教师实现多模态特征的结合。在 ERC 的多说话人对话数据集 MELD 中，TelME 实现了最先进的性能。通过额外的实验证明了我们组件的有效性。

    Jan, 2024

  • M3ED：多模态多场景多标签情感对话数据库

    该研究提出了一个含有 7 种情感类别的中文多模态多场景多标签情感对话数据集，命名为 M3ED，用于帮助跨文化情感分析与识别，并提供了多模态上下文感知框架（MDI）以进行情感识别。

    May, 2022

  • 情感形状：通过情感变化在对话中进行多模态情感识别

    本文提出了一种多模态 ERC 模型，并在其上添加了情感转移组件以提高性能，在 MOSEI 和 IEMOCAP 数据集上的结果表明，情感转移信号的加入有助于该模型优于现有的 ERC 模型。

    Dec, 2021

  • 基于多模态融合网络的对话情感识别技术（M2FNet）

    本篇研究利用多模态方法提高情感识别的准确性，提出了一种多模态融合网络 M2FNet，利用视觉、音频和文本模态提取情感相关特征，并使用多头注意力机制进行融合。经实验验证，该方法在 MELD 和 IEMOCAP 数据集上表现显著优于其他方法，达到了情感识别领域的最新性能表现。

    Jun, 2022

  • 使用情感二进制化和机器学习的标签数字化，在会话对话中进行情感识别

    本研究提出了一种标签数字化和情感二值化的方法，结合文本规范化和 7 位数字编码技术构建一个有意义的特征空间，从而以最高的准确性和精确性建立了一个使用随机森林和人工神经网络分类器的层次化情感识别模型。

    Jun, 2023

  • 对话中多模式情感识别的深度不平衡学习

    通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

    Dec, 2023

  • 高效远距离潜在关系感知的多模态情感识别对话图神经网络

    本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络（ELR-GNN），通过捕捉全局话语之间的潜在依赖关系和语义关联，结合早期融合和自适应后期融合机制，实现了情感预测，并在 IEMOCAP 和 MELD 基准数据集上取得了最先进的性能，分别将运行时间减少了 52% 和 35%。

    Jun, 2024

  • 基于多任务学习和多模态动态融合网络的语音情感识别

    本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

    Mar, 2022