情感识别系统的无监督个性化:语音情感属性外显的独特特性
本研究探讨利用预训练的声学模型,将词汇信息融合到声学语音信号中,以改善情感估计,特别是情感维度中的愉悦度估计,并且发现预训练的模型嵌入融合可比标准声学特征基线(Mel 滤波器的能量)产生更好的效果,且经测试可以推广到其他数据集上。
Jul, 2022
本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法,该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。
Apr, 2021
本文研究了使用 self-attention layer(transformers)预先训练的神经网络在情感识别中的表现,并发现这些模型成功利用语言信息来提高其 valence predictions,在测试他们时应包括对语言分析。
Apr, 2022
本篇研究提出一种基于面部表情的情感识别的无监督学习方法,通过跨模态蒸馏将面部表情标注传递到语音领域,用于语音情感识别,实现了在未标注音频数据下学习语音情感表示的目标。
Aug, 2018
对几种预训练模型,fine-tuned 在情感词汇维度上,作者探究了模型大小、预训练数据、泛化能力、鲁棒性、公平性和效率等方面。结果发现,transformer-based architectures 在 SER 领域表现优越,特别是在情感预测方面。
Mar, 2022
我们提出了一种基于梯度对抗学习框架的方法,该方法可以从特征表示中规范化发言者特征,从而学习语音情感识别任务,在演讲者无关和有关的设置下,我们在具有挑战性的 IEMOCAP 数据集上获得了新的最优结果。
Feb, 2022
本研究提出了一种迭代特征增强方法来增强语音情感识别(SER)中机器学习模型的性能,并通过模型解释性实现了对情感决策的重要特征的识别和删除,对 SER 数据集的实验证明了该方法的有效性。
Jun, 2024
本文介绍了一种基于自上而下加自下而上架构范式的端到端情感识别系统,构建了基于自我监督特征的情感识别实验,并研究了自我监督特征模型的微调、特征的聚合和后端分类网络之间的相互作用等领域。该单模只有语音的系统不仅取得了 SOTA 结果,而且也揭示了强大且经过精细调整的自我监督声学特征的可能性,使其达到类似于同时使用语音和文本模态的 SOTA 多模态系统所达到的结果。
Feb, 2022