May, 2023

SI-LSTM: 会话中情感识别的说话人混合长短期记忆和跨模态注意力

PDF
TL;DR本研究提出了一种名为 “讲话者信息增强的长短时记忆（SI-LSTM）” 的递归结构，用于情感识别，可以在追踪对话中不同讲话者的情感状态的同时，通过交叉模态注意力机制将不同模态之间的信息结合起来，提高多模态数据情感识别任务的学习效果。在两个基准数据集上进行的实验结果表明，所提出的 SI-LSTM 模型在情感识别任务上具有优越的性能表现。
发现论文，激发创造
  • 情感形状：通过情感变化在对话中进行多模态情感识别

    本文提出了一种多模态 ERC 模型，并在其上添加了情感转移组件以提高性能，在 MOSEI 和 IEMOCAP 数据集上的结果表明，情感转移信号的加入有助于该模型优于现有的 ERC 模型。

    Dec, 2021

  • 一种基于说话者建模的分层 Transformer 用于对话情感识别

    本文提出一种在语音对话中进行情绪识别的方法，利用 Transformer 和注意力机制设计三个不同的蒙版模拟传统上下文建模、扩展内部说话人和跨说话人的交互作用，以达到更好的预测效果。实验证明我们的方法可以有效提高情绪识别的性能。

    Dec, 2020

  • 通过情感跨模态融合和类间对比学习提升对话中的情感识别

    基于向量连接的跨模态融合情感预测网络，包括多模态特征融合阶段和基于融合特征的情感分类阶段，同时设计了基于情感标签的监督式跨类对比学习模块，实验证实了该方法的有效性，并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。

    May, 2024

  • 上下文感知孪生网络在会话中高效的情感识别

    通过深度学习模型，本研究提出了一种基于度量学习和 Siamese 网络架构的方法来进行情感识别对话任务，取得了 57.71 的宏 F1 得分，相较于相关研究有了显著的提升。

    Apr, 2024

  • 基于自我蒸馏的多模态会话情感识别的 Transformer 模型

    本文提出了一种基于自蒸馏 (SDT) 的基于变压器模型，该模型通过利用变压器来捕捉内部和跨模式之间的相互作用，并通过设计分层门控融合策略来动态学习模式之间的权重，并将所提出模型的软标签作为额外的训练监督，从而学习更具表现力的模式表示，实验证明 SDT 在 IEMOCAP 和 MELD 数据集上优于之前的最先进基线模型。

    Oct, 2023

  • InstructERC: 用检索多任务 LLMs 框架改革对话中的情感识别

    通过大型语言模型，我们提出了一种名为 InstructERC 的新方法，将情绪识别对话（ERC）任务从辨别性框架改为生成性框架，通过引入简单而有效的检索模板模块以及两个额外的情绪对齐任务，显式地整合多层次的对话监督信息和隐含的对话角色关系和未来情绪趋势，从而显著提高了性能，在三个常用的 ERC 数据集上达到了全面的 SOTA 水平。

    Sep, 2023

  • 用辅助说话人识别的多任务学习进行对话情感识别

    本文探讨了会话情感识别 (CER) 的问题，考虑到说话人的信息对于识别情感的影响，提出利用说话人鉴别任务 (SI) 辅助提升对话中话语的表示。实验结果表明，该方法能够有效提高 CER 的性能，达到了两个基准数据集的最优结果。

    Mar, 2020

  • 高效远距离潜在关系感知的多模态情感识别对话图神经网络

    本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络（ELR-GNN），通过捕捉全局话语之间的潜在依赖关系和语义关联，结合早期融合和自适应后期融合机制，实现了情感预测，并在 IEMOCAP 和 MELD 基准数据集上取得了最先进的性能，分别将运行时间减少了 52% 和 35%。

    Jun, 2024

  • DialogXL: 一体化的 XLNet 多方会话情感识别

    本文介绍了我们使用预训练语言模型进行情感识别的研究，提出了使用增强记忆和对话感知自注意力的全能型 XLNet 模型 DialogXL, 通过对四个 ERC 基准测试的实验表明，该模型在所有数据集上都优于基线模型。

    Dec, 2020

  • 基于多模态融合网络的对话情感识别技术（M2FNet）

    本篇研究利用多模态方法提高情感识别的准确性，提出了一种多模态融合网络 M2FNet，利用视觉、音频和文本模态提取情感相关特征，并使用多头注意力机制进行融合。经实验验证，该方法在 MELD 和 IEMOCAP 数据集上表现显著优于其他方法，达到了情感识别领域的最新性能表现。

    Jun, 2022