Oct, 2022

将离散和连续情绪标签统一用于语音情感识别

PDF
TL;DR该文提出了一种基于多任务和分层多任务学习框架，共同模拟连续和离散情感标签之间的关系，并展示了如何利用这种关系来提高情感识别任务的鲁棒性和性能。实验结果表明，我们的模型在两个广泛使用的数据集（IEMOCAP 和 MSPPodcast）上有统计显着的性能改进，并展示了该不匹配训练方法的实验结果和推理。
paralinguistic analysisemotion detectioncontinuous and discrete emotional attributesmulti-task learningmismatched training approach
发现论文，激发创造
  • 不借助类别标注训练语音情感分类器

    本研究旨在研究情感表示的两种范式：分类标签和连续空间中的维度描述，并提出一种仅使用维度标注的分类流程。该方法基于回归器模型，可以预测给定语音音频的维度表示的连续值向量，进而使用映射算法将其解读为情感类别。我们研究了三种特征提取器，三种神经网络结构和三种映射算法在两个不同的语料库上的绩效。研究表明，分类回归方法具有优势和局限性。

    Oct, 2022

  • 利用连续情感标签进行面部表情编辑

    该研究探索了如何采用连续情感表述来控制自动表情编辑，通过深度生成模型，根据具有两个维度的连续情感标签对面部图像中的面部表情进行操作，并通过定量和定性分析展示了模型的功能。

    Jun, 2020

  • 多任务多模态预测分类和维度情感

    多任务学习在语音情绪识别中的应用与多模态系统和情绪范畴及情绪维度的预测相关，通过跨任务正则化和特征融合提高模型表现。

    Dec, 2023

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 情感嵌入学习：从不同情感数据集中获取稳定统一的抽象

    人类情感的计算研究涉及各种沟通方式和媒体格式，本文提出了一个统一的计算模型，通过学习共享的情感表示来实现对异质数据和标签类型的协同工作，以提高可重用性、可解释性和灵活性，并且不降低预测质量。

    Aug, 2023

  • 利用标签信息进行多模态情感识别

    通过利用标签信息进行多模态情绪识别，我们提出了一种新的方法，通过标签 - 令牌和标签 - 帧交互来学习每个话语的标签增强文本 / 语音表示，并设计了一种新的标签引导的注意融合模块，以融合具有标签意识的文本和语音表示进行情绪分类，实验证明该方法优于现有基线并取得了最新的最佳性能。

    Sep, 2023

  • 使用离散化和分解表示的无文本语音情感转换

    本研究以口语语音转换为任务，将情感转换问题作为语音翻译任务，使用离散学习表示的语音信号分解，包括语音内容单元、韵律特征、说话人和情感，并使用预测表示生成神经波导器的语音波形来实现对口音内容的翻译，并通过客观和主观实验证明该方法在感知情感和音频质量方面优于当前方法，并在模型分析和消融研究中更好地强调所提方法的架构选择、优点和局限性。

    Nov, 2021

  • 学习多语种表达性语音表示以进行无平行数据的韵律预测

    本文提出一种语音到语音的情感保留翻译方法，利用多语言情感嵌入技术来捕捉情感信息，并在英语和法语语音信号中验证了该方法的有效性。

    Jun, 2023

  • 多模态语音情感识别和歧义解析

    本研究采用基于特征工程的方法来解决语音情感识别的问题，并通过提取八个手工特征，将问题形式化为多分类问题。通过比较传统机器学习分类器和深度学习模型的表现，我们表明轻量级的基于机器学习的模型在使用少量手工特征时能够实现与当前的深度学习方法相媲美的性能。

    Apr, 2019

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023