May, 2023

关于共同学习语音情感识别和自动语音识别的有效性和噪声稳健性

PDF
TL;DR本文研究了一种联合的 ASR-SER 多任务学习方法，发现在低资源环境下，采用这种方式可通过对背景噪音的处理从而提高 ASR 词错误率和 SER 分类准确性，结果表明使得该方法产生比独立 ASR 和 SER 方法更具噪音抗干扰性的模型。
conversational agentspeech emotion recognitionautomatic speech recognitionmultitask learningnoise resistance
发现论文，激发创造
  • ASR 和情感语音：语音和情感识别相互影响的单词级调查

    研究利用自动语音识别系统分析情感语音，以及在转录情感语音时出现的错误，探讨自动语音识别对情感语音的适应性，进而促进情感语音的实际应用。

    May, 2023

  • 情感导向的自动语音识别预训练，增强语音情感识别

    提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

    Jan, 2022

  • 基于 ASR 转录的语音情感识别：关于词误率和融合技术的全面研究

    使用不同词错误率（WERs）的 ASR 转录对 IEMOCAP，CMU-MOSI 和 MSP-Podcast 等已知语料库进行 SER 性能评估，同时提出了一个统一的 ASR 错误抗干扰框架，并与最佳表现的 ASR 转录进行比较，实现了更低的 WER 和更高的 SER 结果，为 SER 与 ASR 协助的研究提供了洞见。

    Jun, 2024

  • 关于自动语音识别表示在现实世界噪音语音情感识别中的有效性

    本文提出了一种高效的噪声语音情感识别（NSER）方法，通过采用自动语音识别（ASR）模型作为噪声鲁棒特征提取器来消除噪声语音中的非语音信息，以解决传统 NSER 方法在真实环境中对非平稳噪声的复杂性和不确定性的限制。实验证明，该方法在 NSER 性能上优于传统的噪声减少方法，胜过自监督学习方法，并且即使在使用 ASR 转录或噪声语音的基准转录的文本方法中也表现优异。

    Nov, 2023

  • 混合编码器用于语音分离和识别

    该论文提出了一种基于中间地带的方法来处理多说话者语音识别，该方法既利用了情感识别模块类似于模块化方法的显式语音分离技术，又将混合语音信息直接纳入 ASR 模块，以减轻语音分离器所产生的错误传播，并且通过结合个体说话者信息的层来交换跨说话者的上下文信息。

    Jun, 2023

  • 噪声鲁棒的语音情感识别与信噪比自适应语音增强

    本研究提出了一种噪声鲁棒的语音情感识别系统，通过语音增强技术有效降低输入信号中的噪声，并引入信噪比级别检测结构和波形重建策略，以减少对无或较少背景噪声的语音信号的负面影响。实验结果表明，该系统能够有效提高语音情感识别系统的噪声鲁棒性，包括防止系统在仅由背景噪声组成的信号上进行情感识别。此外，所提出的信噪比级别检测结构可单独用于数据选择等任务。

    Sep, 2023

  • 联合语音识别和音频字幕

    为了更好地解释语音样本中的背景噪声，并对内容进行全面理解，我们提出了多种方法来实现自动语音识别和自动音频字幕的端对端联合建模，并使用混合干净语音和多种背景噪声的多任务数据集进行实验验证。

    Feb, 2022

  • 语音到语义：通过全神经接口共同改进 ASR 和 NLU

    本文研究基于语音指令的自然语言理解问题，提出了一种端到端联合 SLU 模型，可以提取语音中自然语言指令及相关的归属槽位参数或命名实体，并且能够在硬件受限的设备上运行，提高隐私保护并降低服务器成本。

    Aug, 2020

  • 心态的转变：通过语音转文本模态转换来改善语音情感识别

    通过实施自动语音识别（ASR）系统和文本分类器相结合的 Modality-Conversion 方法以及假设具有完美 ASR 输出并研究其在 SER 上的影响的 Modality-Conversion++ 方法，本研究证明了模态转换在增强 MELD 数据集上的情感识别绩效方面的潜力，并超越了现有的基于语音的方法。

    Jul, 2023

  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019