连续情感预测的动态困难感知训练
本文通过时间序列建模和高质量数据集的采集来建立动态情感刺激的模型,在此基础上介绍第一版本的斯坦福情感叙述数据集(SENDv1)。该数据集是自我节奏、非手稿的丰富、多模态视频,标注情感质量随时间的变化,为情感计算的当代时间序列方法提供了挑战,并通过多种基准和最先进的建模方法展示了良好的表现。
Nov, 2019
该研究提出了一种基于神经过程的方法,使用全局潜在变量模型的概率性语境表示与任务特定预测结合,智能地选择时间上下文,并在四个数据库上进行验证,在情感识别等方面取得了比强基线和现有方法更为一致的进步。
Mar, 2021
提出一种利用循环神经网络动态补偿情感标注不一致性并将其与相应的声学特征同步的方法,实验结果表明该方法可以显著提高标注员间的一致性和情感标注与声学特征之间的相关性,并在情感预测方面获得改进。
Sep, 2022
该文提出了一种基于多任务和分层多任务学习框架,共同模拟连续和离散情感标签之间的关系,并展示了如何利用这种关系来提高情感识别任务的鲁棒性和性能。实验结果表明,我们的模型在两个广泛使用的数据集(IEMOCAP和MSPPodcast)上有统计显着的性能改进,并展示了该不匹配训练方法的实验结果和推理。
Oct, 2022
情感识别是一个复杂的任务,本论文通过多角度研究数据集、标签、建模、人口统计学和成员变量编码以及评估等方面的挑战,推进了强健、实用的情感识别模型的发展。
Sep, 2023
利用大型语言模型的表达能力,为输入文本合成额外的上下文,以增加其与带有注释的情感标签的关联性。通过提出文本上下文的形式化定义,并使用提示策略增强这种上下文信息,我们通过人工评估和实证评估证明了我们的方法改善了输入和人工注释标签之间的关联性。
Nov, 2023
本研究以人类情绪识别为核心,通过采用面部数据集上的Masked Autoencoders (MAE)预训练和aff-wild2数据集的微调,结合Temporal Convolutional Network (TCN)模块和Transformer Encoder模块,实现了对情绪的连续识别。
Mar, 2024
我们的研究通过设计实验和提出度量方法,明确量化了LLMs在情绪识别中的先验一致性以及其对后验的影响。结果显示,LLMs在情绪识别中存在强烈但不一致的先验,导致预测表现固化。同时,研究还发现模型越大,这种影响越强。因此,在情感为中心的任务中,尤其是在超出预训练范围以及解释ICL结果时,需要谨慎使用较大规模的LLMs。
Mar, 2024
这项研究的重点是评估两种策略在缺少一个感知模态的情况下的表现和韧性:一种新颖的多模式动态模态和视角选择方法以及一种交叉注意机制。RECOLA数据集上的结果表明动态选择方法是一种有前景的多模态情感识别方法。在缺失模态的场景下,所有基于动态选择的方法都优于基准测试。研究总结强调了音频和视频模态在情感预测中的复杂相互作用,展示了动态选择方法在处理缺失模态方面的适应性。
Apr, 2024
重新回顾评估深度学习模型在语音情感识别研究中的最新进展,表明尽管取得了一些进步,FAU-AIBO仍然是一个具有挑战性的基准,而新的方法并不一致地优于旧的方法,显示解决语音情感识别问题的进展不一定是单调的。
Jun, 2024