MMOct, 2023

基于自我蒸馏的多模态会话情感识别的 Transformer 模型

PDF
TL;DR本文提出了一种基于自蒸馏 (SDT) 的基于变压器模型，该模型通过利用变压器来捕捉内部和跨模式之间的相互作用，并通过设计分层门控融合策略来动态学习模式之间的权重，并将所提出模型的软标签作为额外的训练监督，从而学习更具表现力的模式表示，实验证明 SDT 在 IEMOCAP 和 MELD 数据集上优于之前的最先进基线模型。
emotion recognitionconversationsmultimodal informationtransformer-based modelself-distillation
发现论文，激发创造
  • 一种基于说话者建模的分层 Transformer 用于对话情感识别

    本文提出一种在语音对话中进行情绪识别的方法，利用 Transformer 和注意力机制设计三个不同的蒙版模拟传统上下文建模、扩展内部说话人和跨说话人的交互作用，以达到更好的预测效果。实验证明我们的方法可以有效提高情绪识别的性能。

    Dec, 2020

  • 多模态提示变换器与混合对比学习用于对话中的情感识别

    多模 ERC 在驱动人机交互发展方面扮演了重要角色，但面临多模态信息融合中的噪声问题以及类别语义相似但样本标签较少的预测问题。为应对这些问题，本研究采用了深度情感线索提取、特征过滤器设计、多模态提示转换器和混合对比学习等策略，实现了更好的多模态融合表现和对少样本标签的处理能力。实验结果证明，所提出的模型在两个基准数据集上优于现有模型。

    Oct, 2023

  • SI-LSTM: 会话中情感识别的说话人混合长短期记忆和跨模态注意力

    本研究提出了一种名为 “讲话者信息增强的长短时记忆（SI-LSTM）” 的递归结构，用于情感识别，可以在追踪对话中不同讲话者的情感状态的同时，通过交叉模态注意力机制将不同模态之间的信息结合起来，提高多模态数据情感识别任务的学习效果。在两个基准数据集上进行的实验结果表明，所提出的 SI-LSTM 模型在情感识别任务上具有优越的性能表现。

    May, 2023

  • 通过情感跨模态融合和类间对比学习提升对话中的情感识别

    基于向量连接的跨模态融合情感预测网络，包括多模态特征融合阶段和基于融合特征的情感分类阶段，同时设计了基于情感标签的监督式跨类对比学习模块，实验证实了该方法的有效性，并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。

    May, 2024

  • 情感形状：通过情感变化在对话中进行多模态情感识别

    本文提出了一种多模态 ERC 模型，并在其上添加了情感转移组件以提高性能，在 MOSEI 和 IEMOCAP 数据集上的结果表明，情感转移信号的加入有助于该模型优于现有的 ERC 模型。

    Dec, 2021

  • TelME：基于教师引导的对话情感识别的多模融合网络

    通过教师引导的多模融合网络（TelME），本文提出了一种在对话系统中实现情绪识别的方法，通过跨模态知识蒸馏来提高非语言模态在情绪识别中的功效，并使用学生网络支持教师实现多模态特征的结合。在 ERC 的多说话人对话数据集 MELD 中，TelME 实现了最先进的性能。通过额外的实验证明了我们组件的有效性。

    Jan, 2024

  • 面向会话情感识别的说话者引导编码器 - 解码器框架

    本文提出了一种探索语音信息中内部和外部说话者依赖关系的新型说话者建模方案，并使用 Speaker-Guided 编码器 - 解码器框架来预测情感标签，证明了其在情感识别中的优越性和有效性。

    Jun, 2022

  • 基于分布的对话情感识别

    提出了一个分布式框架，将自动情感识别作为序列到序列问题来解决，通过引入贝叶斯训练损失来改善情感分布的不确定性估计，从而更好地处理情感标签的不确定性，实验结果表明，分布式框架在情感分类和不确定性估计方面优于单次话语和传统的基于人工设计特征的方法。

    Nov, 2022

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • AIMDiT：情感识别中的多模态维度转换增强和交互

    AIMDiT 框架以模态增强网络和模态交互网络为基础，实现了深度特征的多模态融合，通过在公共基准数据集 MELD 上的实验证明，在 Acc-7 和 w-F1 指标上相对于现有模型取得了 2.34% 和 2.87% 的提升。

    Apr, 2024