Apr, 2024

对语音情感识别模型的对抗攻击进行系统评估

PDF
TL;DR这项研究评估了深度学习模型在语音情感识别中面临的对抗性攻击问题，发现 CNN-LSTM 模型对对抗示例非常脆弱，且攻击对不同语言和性别的影响差异较小。该研究为提高语音情感识别算法的鲁棒性，设计更有效的攻击、探究可能的防御方法以及加深我们对语言和性别差异的理解提供了基线数据。
发现论文，激发创造
  • STAA-Net：一种稀疏且可迁移的语音情感识别对抗攻击

    通过生成器的攻击方法，我们能够以高效的方式生成稀疏且可转移的对抗性示例，从而欺骗语音情感识别模型，并能够对先进的受害者模型进行有效的对抗攻击。

    Feb, 2024

  • 多任务半监督对抗自编码器用于语音情感识别

    本文提出一种基于多任务学习的框架，通过利用大量的性别分类数据和说话人识别数据，结合采用对抗自编码器（AAE）进行半监督学习的方法，提高语音情感识别的性能，实现更高水平的情感识别表现。

    Jul, 2019

  • 基于讲话者注意力的语音情感识别

    本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法，该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。

    Apr, 2021

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 面对对抗攻击的自动语音识别模型最近的改进

    改进语音识别模型的鲁棒性需要从评估攻击转向系统化评估，通过在不同架构上评估代表性的对抗性攻击，我们发现不同攻击算法的相对强度在更改模型架构时会有相当大的差异，并且某些攻击的结果不能盲目信任，自我监督预训练等培训选择可显着影响鲁棒性。

    Mar, 2022

  • 使用 CNN 的语音情感识别及其在数字化医疗中的应用案例

    使用卷积神经网络（CNN) 对音频录音进行识别和情感标记，通过机器学习方法评估表情识别模型，并关注精确度、召回率和 F1 得分，以提高交流意图的识别能力。

    Jun, 2024

  • 通过对抗训练进行说话者不变的情感表示学习

    本文提出了一种基于对抗训练网络来消除发言人特征并更好地表示情感的机器学习框架，在 IEMOCAP 和 CMU-MOSEI 数据集上实验表明该框架能够提高语音情感分类的准确性并增加对未知发言人的泛化能力。

    Nov, 2019

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023

  • 半监督跨语言语音情感识别

    本文提出一种基于半监督学习的交叉语言情感识别方法，使用卷积神经网络 (CNN) 和伪标签策略进行训练，在五种不同语言的数据上表现出鲁棒性。

    Jul, 2022

  • 从原始语音进行语音情感的直接建模

    本文提出了一种基于并行卷积层的方法，在特征提取单元中利用多个时间分辨率来共同训练 LSTM 分类神经网络。该方法可用于处理原始语音数据的情感识别任务，并可以达到使用手工制作特征训练 CNN 的性能水平。

    Apr, 2019