Jun, 2024

基于音高感知的 Mandarin Chinese 语音错误检测与诊断的 RNN-T

PDF
TL;DR本研究介绍了一种基于华文的 MDD（Mispronunciation Detection and Diagnosis）系统，采用无状态的 RNN-T 模型，利用带音高嵌入的 HuBERT 特征通过音高融合块进行训练，该模型仅使用母语人士的数据，在非母语场景中，其在电话错误率上表现出 3％的改进和假接受率上的 7％增加，优于现有技术基准。
mispronunciation detection and diagnosisautomatic speech recognitionmandarin chinesernn-t modelhubert features
发现论文，激发创造
  • 一种使用简单数据增强技术的全面依赖文本的端到端发音错误检测和诊断方法

    本文提出了一种新颖的文本依赖模型来利用前置文本，通过注意力机制将音频与前置文本的音素序列对齐，来实现完全的端到端结构，同时提出了三种简单的数据增强方法来缓解模型捕捉错读音素的能力问题，并在 L2-ARCTIC 数据集上表现出 56.08% 的 F-measure 指标，相较 CNN-RNN-CTC 模型有明显提升。

    Apr, 2021

  • 基于文本感知的端到端发音错误检测和诊断

    本文设计了门控策略以及对比学习等方法，以便更好地利用先前给定的文本信息作为指导，有效地提高了自动语音纠音技术的性能。

    Jun, 2022

  • L1-Aware 多语种发音错误检测框架

    本文介绍了一种新颖的多语言 MDD 结构 L1-MultiMDD，它具有 L1 感知的语音表示，并使用端到端语音编码器对输入信号及其对应的参考音素序列进行训练。实验结果表明，该 L1-MultiMDD 框架在目标语言（包括英语、阿拉伯语和普通话）的统一多语言音素识别任务中具有鲁棒性、有效性和泛化能力。

    Sep, 2023

  • 一种端到端的 L2 英语语音错误发音检测系统，利用新型抗噪声建模技术

    本论文提出了一种新的端到端自动语音识别方法，使用扩展后的原始 L2 语音集和其对应的反语音集，以更好地识别分类和非分类发音错误，并通过转移学习范式来获得 E2E-based MDD 系统的初始模型估计，在 L2-ARCTIC 数据集上进行了广泛的实验，结果表明我们的最佳系统在 F1 分数方面胜过现有的 E2E 基线系统和基于发音评分 (GOP) 的方法，分别提高了 11.05% 和 27.71%。

    May, 2020

  • 基于 Phonological Level wav2vec2 的发音错误检测和诊断方法

    提出了基于语音属性特征检测的低层级发音错误检测方法，通过使用单一模型联合建模非互斥的语音属性特征，该方法在英语学习者的二语语音语料库上应用，并与传统的基于音素级别的方法进行比较，从而获得了明显较低的假接受率、假拒绝率和诊断错误率。

    Nov, 2023

  • 一种有效的端到端建模方法用于发音错误检测

    本研究采用 E2E 模型中的混合 CTC-Attention 方法，并针对中文发音检测任务进行了输入扩充，使结果更加适合该任务。实验结果表明，与传统的混合 DNN-HMM 系统相比，该方法能够大大简化处理流程并显著提高性能。

    May, 2020

  • 基于 RNN Transducer 的中文普通话语音识别的发音感知唯一字符编码

    该研究提出了一种新颖的、基于发音的独特字符编码方法，用于构建基于 E2E RNN-T 的汉语语音识别系统，以克服同音字问题和提取建模单元的困难，实验证明了该方法的有效性。

    Jul, 2022

  • DTW-SiameseNet：一种用于发音错误检测和更正的动态时间扭曲连锁网络

    本研究提出了一种针对 TTS 语音合成任务中的发音错误检测和校正的高精度、适用于 PDA 的发音学习框架，同时还提出了一种基于动态时间规整技术和度量学习的发音错误检测模型 DTW-SiameseNet。结果表明，与基于音素和音频的基线相比，我们的方法平均提高了～6％ 的发音准确率，并且此方法不受语言和隐私问题的影响。

    Mar, 2023

  • MMSpeech: 面向语音识别的多模态多任务编码器解码器预训练

    该论文提出了一种新的多模态多任务编码 - 解码器预训练框架 (MMSpeech), 用于汉语自动语音识别 (ASR), 该框架同时使用了未标注语音和文本数据，其中引入了音素模态来帮助捕捉汉语音频和文本之间的模态不变信息。通过在 AISHELL-1 数据集上的实验，该方法实现了最先进的性能，较其他预训练方法相对提高了超过 40%。

    Nov, 2022

  • 基于注意力的语音识别编码器的普通话言语痴呆评估

    通过训练一个基于注意力的语音识别模型并在精心设计的图片描述任务上使用，本研究构建了一个适用于普通话使用者的痴呆评估系统，通过提取语音识别模型的编码器并添加一个线性层用于痴呆评估，从 99 名被试中收集普通话语音数据并获取他们的临床评估，成功实现了 92.04% 的阿尔茨海默病检测准确率和 9% 的临床痴呆评分的平均绝对误差。

    Oct, 2023