Dec, 2023

emotion2vec：自监督预训练语音情感表征

PDF
TL;DR我们提出了 emotion2vec，这是一个通用的语音情感表示模型，通过自我监督在线提取方法在开源未标记的情感数据上进行预训练，结合预训练期间的话语级损失和帧级损失。emotion2vec 在主流的 IEMOCAP 数据集上，仅通过训练线性层的方式在语音情感识别任务中胜过最先进的预训练通用模型和情感专家模型。此外，emotion2vec 在 10 种不同语言的语音情感识别数据集中表现出一致的改进。emotion2vec 在其他情感任务上也展示了出色的结果，如歌曲情感识别、对话中的情感预测和情感分析。比较实验、消融实验和可视化全面展示了提出的 emotion2vec 模型的通用性。据我们所知，emotion2vec 是各种与情感相关任务中的第一个通用表示模型，填补了这一领域的空白。
emotion2vecspeech emotionuniversal representation modelemotion tasksself-supervised online distillation
发现论文，激发创造
  • 使用 Wav2vec 2.0 嵌入进行语音情感识别

    本文提出一种基于迁移学习的语音情感识别方法，将从预训练的 wav2vec 2.0 模型中提取的特征使用简单的神经网络模型进行建模，并使用可训练的权重从多层模型中组合输出，在 IEMOCAP 和 RAVDESS 两个情感数据库上的评价表明，在情感识别性能上优于现有文献中的结果。

    Apr, 2021

  • Emo2Vec: 多任务训练学习情感通用表示

    本文提出了 Emo2Vec 模型，将情感语义编码为向量。通过训练多任务的方式进行六种不同的情感相关任务来训练 Emo2Vec，包括情感 / 情绪分析，讽刺分类，压力检测，恶意语言分类，侮辱探测和人格识别。我们的评估表明，Emo2Vec 在比现有的情感相关表示法（例如 Sentiment-Specific Word Embedding 和 DeepMoji embeddings）更小的训练语料库上表现更好。当与 GloVe 拼接时，Emo2Vec 在使用简单逻辑回归分类器的几项任务中取得了与现有最优结果相竞争的表现。

    Sep, 2018

  • 自监督语音模型的探索：情感语料库研究

    本研究通过定量分析情感语料库探索了一种流行的自我监督模型 ——wav2vec 2.0，主要证明了：1）wav2vec 2.0 似乎会丢弃不太有用于词汇识别的语用信息；2）对于情感识别，只使用中间层的表示与对多个层求平均后的表示效果相当，在某些情况下，只使用最后一层的表示效果最差；3）现有的自我监督模型可能不是利用非词汇特征的下游任务的最佳解决方案，为该领域未来的研究提供新的发现和理论基础。

    Oct, 2022

  • 利用自监督预训练的声学和语言特征进行连续语音情感识别

    本文研究音频和文本的预训练提取特征方法，使用 wav2vec 和 camemBERT 模型进行连续情感识别任务，同时采用 SEWA 数据集，证明 wav2vec 和 BERT 预训练特征的联合使用在处理连续 SER 任务中表现非常合适。通过实验证明，新方法的 CCC 值达到 0.825，而传统的 MFCC 和 word2vec 仅为 0.592。

    Nov, 2020

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 无监督表示在语音情感识别中改善有监督学习

    该研究提出了一种创新的方法，通过将自我监督特征提取与监督分类相结合，从较小的音频片段中识别情感，提高了人机交互的情感理解能力。

    Sep, 2023

  • data2vec：自监督学习在语音、视觉和语言中的通用框架

    data2vec 是一个使用标准 Transformer 结构，在语音、NLP 或计算机视觉中使用相同的学习方法，能够成功预测全面输入数据的潜在表示的框架，通过用遮掩的输入数据进行自我蒸馏设置，该方法大大提高了音频识别、图像分类和文本理解等任务的性能。

    Feb, 2022

  • 使用预训练的深度视觉模型进行情感语音识别

    本文提出使用视觉深度神经网络模型进行情感语音识别的新方法，通过使用预先训练的计算机视觉深度模型的迁移学习能力，将声学特征转化为图像进行识别，并在 Berlin EMO-DB 数据集上进行实验，取得了新的最佳效果。

    Apr, 2022

  • 使用描述学习表情符号的表示

    本文介绍了一种针对社交媒体上的 emoji 进行预训练的嵌入式表情符号 emoji2vec，与 word2vec 搭配使用可用于下游社交自然语言处理应用，研究表明 emoji2vec 在情感分析任务中表现优异。

    Sep, 2016

  • wav2vec: 语音识别的无监督预训练

    本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel filterbank 上降低了最多 36％，最终的 WER 为 2.43％，使用的标注数据量较 Deep Speech 2 少两个数量级。

    Apr, 2019