MMJun, 2023

跨语言语音情感识别：使用多模态双重注意力变换器

PDF
TL;DR本研究提出了一个利用基于多模态双重注意力变换器模型，结合图注意力与协同注意力，以提高跨语言情感识别性能，在 4 个公开数据集中获得了优秀表现的方法。该方法在高层次特征表示方面利用 Transformer 编码层来提高情感分类精度，并通过在各个阶段对特征表示进行细化以提供情感显著特征，既保留特定模态的情感信息又增强了跨模态和跨语言交互。
speech emotion recognitionmultimodal dual attention transformercross-languagetransformer encoder layeremotion classification
发现论文，激发创造
  • 高效双层特征恢复多模态 Transformer 用于鲁棒性多模态情感分析

    本文提出了一种名为 EMT-DLFR 的通用且统一的框架，以解决当前多模态数据建模过程中的两个主要挑战：一是无法进行未对齐的多模态数据中的跨模态交互，而是存在随机模态特征缺失问题，此框架令多模态交互更加高效且应对缺失数据具有更强的鲁棒性。

    Aug, 2022

  • 双重注意力变形器机器翻译

    本文提出了一个双重注意力变压器机器翻译模型，通过预训练的卷积神经网络联接空间视觉特征，通过两个分离的注意力部件，在加强的多头注意力层中自由处理源语言单词和图像部分，并在目标语言生成单词时，发现该模型可以有效地利用非常稀少的多模数据集和大规模文本数据集，实现了在英德多模机器翻译任务中的最佳效果

    Jul, 2018

  • 探索应用于紧急呼叫中心语料库的多模态情感识别的注意力机制

    本文探讨了基于 CEMO 数据集的语音和文本预训练模型在情感识别上的融合策略，研究表明基于多模态融合的交叉关注机制实现了更好的表现。同时，实验也表明在 CEMO 上，音频编码包含的情感信息比文本更为丰富。

    Jun, 2023

  • 无监督图注意力自编码器用于带属性网络的 K 均值丢失

    利用最新的转换器和特征提取工具构建阿拉伯语多模态数据集，验证其在多模态学习中的效果，并展示阿拉伯语多模态研究的潜力。

    Nov, 2023

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 将对比学习融入多任务 Transformer 模型以实现有效的领域自适应

    提出一种新颖的领域适应技术，采用 SER 作为主任务、对比学习和信息最大化损失作为辅助任务的多任务框架，借助在大型语言模型上进行微调的 transformer 实现跨语料库情感识别的最新性能。

    Oct, 2023

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023

  • 多任务多模态预测分类和维度情感

    多任务学习在语音情绪识别中的应用与多模态系统和情绪范畴及情绪维度的预测相关，通过跨任务正则化和特征融合提高模型表现。

    Dec, 2023

  • 采用聚合语料库和深度多任务学习实现野外情感识别语音

    使用多任务学习以及在深度神经网络中使用性别和自然度等辅助任务来改善情感模型的泛化能力，并在理论模拟和实际数据中比较了单任务学习方法，结果表明多任务学习方法显著提高了情感识别性能，尤其是使用性别和自然度都提高了性能。

    Aug, 2017

  • 野外情感维度识别的联合多模态变压器

    通过使用多模态 Transformer 架构，全面利用视频中视觉和听觉模态之间的交互和内部依赖关系，以识别音频视觉表情和声音模式，该模型在 Affwild2 数据集上表现出优越性能。

    Mar, 2024