Sep, 2020

跨模态分布匹配的半监督多模态情感识别

PDF
TL;DR提出了一种基于跨模态分布匹配的半监督多模态情感识别模型，该模型利用丰富的未标记数据增强模型训练，实验结果表明该模型能够有效地结合多模态并利用未标记数据提高情感识别性能，并在同等条件下优于其他最先进的方法。
automatic emotion recognitionsemi-supervised learningmulti-modaldatasetmodel
发现论文，激发创造
  • 多模态情感识别中基于模态对无监督对比损失的方法

    本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

    Jul, 2022

  • 不完整多模态情感数据的半监督深度生成建模

    本文提出了一种基于多视角深度生成性框架的新方法，通过多模式专用生成网络对多模态情感数据的统计关系进行建模，基于高斯混合分布对共享潜在变量的后验分布进行假设，以解决单一模式情感数据识别困难、手动注释代价高昂、情感数据存在缺失模态问题等问题，并在两种真实的多模态情感数据集上进行了实验验证。

    Jul, 2018

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • MER 2023: 多标签学习，模态鲁棒性和半监督学习

    该研究使用多模态特征测试了三个情感识别子挑战任务，提供了具有竞争力的基础模型，为提高情感识别的鲁棒性和发展实际应用技术提供了一些新思路。

    Apr, 2023

  • 多模态情感识别和情感分析的多任务学习

    本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

    May, 2019

  • MER 2024：半监督学习、噪声鲁棒性和开放词汇多模态情感识别

    多模态情感识别是人工智能中的重要研究课题，为推动该领域的发展，我们计划组织一系列关于情感识别的挑战活动，其中包括扩大数据集规模、引入新的跟踪领域和鼓励参与者描述角色的情感状态。

    Apr, 2024

  • 通过多模式关联估计弥合情感语义差距

    研究了多模态情感识别中不同模态表达的语义相关性，并提出了一种多模态相关性估计网络，能够有效地捕捉相关语义，特别是对于模态语义的大偏差具有较好的效果。

    Feb, 2023

  • 野外情感语音识别中的跨模态转移

    本篇研究提出一种基于面部表情的情感识别的无监督学习方法，通过跨模态蒸馏将面部表情标注传递到语音领域，用于语音情感识别，实现了在未标注音频数据下学习语音情感表示的目标。

    Aug, 2018

  • 基于语音的多模态情感识别中的学习对齐

    本文提出使用注意力机制学习语音帧和文本单词之间的对齐方法，以提高音频 - 文本多模态情感识别的准确性，并在 IEMOCAP 数据集上取得了最先进的性能。

    Sep, 2019