Feb, 2023

跨语料情感语音识别的深度隐式分布对齐网络

PDF
TL;DR本文提出了一种深迁移学习方法 DIDAN 来解决来自不同语料库的标注训练语音信号和未标注测试语音信号的交叉语料库情感识别问题。DIDAN 通过将源语音谱直接回归到情感标签来拥有情感判别能力，并利用名为隐式分布对齐（IDA）的良好设计的正则化项将其转移为适用于目标语音样本，从而使 DIDAN 可以从语音谱学习到既具有情感鉴别又具有语料库不变性的特征。广泛的交叉语料库 SER 实验表明，DIDAN 可以在处理交叉语料库 SER 任务方面优于许多最新的最先进的方法。
发现论文，激发创造
  • Emo-DNA：跨语料库语音情感识别的情感解耦与对齐学习

    我们提出了一种新的 Emotion Decoupling aNd Alignment（EMO-DNA）学习框架，用于跨语料库语音情感识别（SER），通过对抗性解耦和双层情感对齐实现了学习情感相关的语料库不变特征，实验证明 EMO-DNA 在多个跨语料库场景中优于现有方法。

    Aug, 2023

  • 卷积神经网络和语言嵌入用于端到端方言识别

    该论文介绍了使用基于 Siamese 神经网络和集成多种声学和语言特征的端到端方言识别系统，分析了在阿拉伯语言境下的效果，并探讨了数据扩充和特征融合等策略，最终获得了 78% 的分类准确率。

    Mar, 2018

  • DSNet: 融合中性校准的分解孪生网络用于语音情感识别

    通过引入 DSNet，一个具有中立校准的解缠结孪生网络，以满足更强大和可解释的语音情感识别模型的需求，并在两个流行的基准数据集上的实验结果证明其优越性。

    Dec, 2023

  • EmoDiarize：使用卷积神经网络从语音信号中进行说话人分离和情绪识别

    在先进的人工智能和人机交互时代，识别口语中的情绪至关重要。本研究探讨了深度学习技术在语音情绪识别中的应用，提供了一个综合的解决方案，解决了说话人分离和情绪识别中的挑战。该研究引入了一个框架，将现有的说话人分离流程与基于卷积神经网络（CNN）构建的情绪识别模型相结合，以实现更高的准确性。所提出的模型经过五个语音情绪数据集的训练，包括 RAVDESS、CREMA-D、SAVEE、TESS 和电影片段。从每个样本中提取的特征包括梅尔频率倒谱系数（MFCC）、过零率（ZCR）、均方根（RMS）以及 pitch、noise、stretch 和 shift 等各种数据增强算法。这种特征提取方法旨在提高预测准确性同时降低计算复杂性。所提出的模型能够以 63% 的不加权准确率准确识别语音信号中的情绪状态，展示了出色的效率。

    Oct, 2023

  • 利用动态联合分布适应改进的说话人无关语音情感识别

    多说话人情感识别中，使用 Dynamic Joint Distribution Adaptation 方法解决来自不同说话人的多领域数据中的分布偏移问题，并在面对新说话人数据时获得更好的性能。

    Jan, 2024

  • 通过对抗性鉴别域泛化（ADDoG）改善跨语料库语音情感识别

    本文提出了基于 ADDoG 和 MADDoG 的自动演讲情感识别方法，采用迭代移动学习到的情感数据表示，提高跨数据集通用性，并在实验中取得了显著的成果。

    Mar, 2019

  • 通过提炼韵律和语言情感表达的语音情感识别

    EmoDistill 是一个新颖的语音情感识别（SER）框架，利用跨模态知识蒸馏在训练期间从语音中学习强大的语言和韵律情感表示。在推断过程中，我们的方法仅使用一系列语音信号执行单模态 SER，从而减少计算开销并避免运行时转录和韵律特征提取错误。在 IEMOCAP 基准上的实验证明，我们的方法以相当大的优势胜过其他单模态和多模态技术，并实现了 77.49％的非加权准确率和 78.91％的加权准确率。详细的消融研究展示了我们方法的每个组成部分的影响。

    Sep, 2023

  • 面部表情数据集偏差的深入研究

    本研究利用深度学习技术中的情感条件适应网络（ECAN），通过权值重新分配参数解决了表情类别分布偏差问题，并同时匹配了不同领域的边缘和条件概率分布，大幅提高了面部表情转换任务的效果。

    Apr, 2019

  • 基于分布的对话情感识别

    提出了一个分布式框架，将自动情感识别作为序列到序列问题来解决，通过引入贝叶斯训练损失来改善情感分布的不确定性估计，从而更好地处理情感标签的不确定性，实验结果表明，分布式框架在情感分类和不确定性估计方面优于单次话语和传统的基于人工设计特征的方法。

    Nov, 2022

  • 跨语言情感分类的对抗式深度平均网络

    该研究提出了一种针对低资源语言情感分类问题的迁移学习技术，通过共享特征提取器和对抗性分支实现跨语言情感分析，并在中文和阿拉伯语情感分类实验中显著优于现有系统。

    Jun, 2016