Mar, 2022

基于 Wav2vec2 动量伪标记的发音不准检测方法改进，用于口音和可懂度评估

PDF
TL;DR本文介绍了使用 Wav2vec 2.0 模型进行自监督学习，在当前领先的发音错误检测和诊断 (MDD) 系统中使用自动伪标签方法，可以用于增强 L2 语音，提高模型的鲁棒性和准确性。
mispronunciation detection and diagnosisend-to-end phoneme recognitionpseudo-labelingself-supervised learningwav2vec 2.0
发现论文，激发创造
  • 基于 Phonological Level wav2vec2 的发音错误检测和诊断方法

    提出了基于语音属性特征检测的低层级发音错误检测方法，通过使用单一模型联合建模非互斥的语音属性特征，该方法在英语学习者的二语语音语料库上应用，并与传统的基于音素级别的方法进行比较，从而获得了明显较低的假接受率、假拒绝率和诊断错误率。

    Nov, 2023

  • 动量伪标记在半监督语音识别中的应用

    本研究提出一种名为动量伪标签的半监督语音识别方法，采用了一种在线模型与离线模型之间交互学习的策略，取得了比基准模型更好的效果。

    Jun, 2021

  • 一种端到端的 L2 英语语音错误发音检测系统，利用新型抗噪声建模技术

    本论文提出了一种新的端到端自动语音识别方法，使用扩展后的原始 L2 语音集和其对应的反语音集，以更好地识别分类和非分类发音错误，并通过转移学习范式来获得 E2E-based MDD 系统的初始模型估计，在 L2-ARCTIC 数据集上进行了广泛的实验，结果表明我们的最佳系统在 F1 分数方面胜过现有的 E2E 基线系统和基于发音评分 (GOP) 的方法，分别提高了 11.05% 和 27.71%。

    May, 2020

  • 有效增强机制改进终端到终端模型的发音错误检测

    本研究提出两种模型策略以加强 E2E MD 模型的区分能力 —— 输入增强和标签增强，经实验证明较传统的 DNN-HMM 声学模型效果更佳，可以用于 L2 学习者语音纠错。

    Oct, 2021

  • L1-Aware 多语种发音错误检测框架

    本文介绍了一种新颖的多语言 MDD 结构 L1-MultiMDD，它具有 L1 感知的语音表示，并使用端到端语音编码器对输入信号及其对应的参考音素序列进行训练。实验结果表明，该 L1-MultiMDD 框架在目标语言（包括英语、阿拉伯语和普通话）的统一多语言音素识别任务中具有鲁棒性、有效性和泛化能力。

    Sep, 2023

  • 使用 Conformer 和初始化策略推进 Momentum Pseudo-Labeling

    本研究通过引入 Conformer 结构和迭代伪标签与语言模型相结合，提高了 MPL 性能，对各种半监督设置表现出鲁棒性， 并且在质量和效果方面优于其他基于伪标签的方法。

    Oct, 2021

  • 使用 Wav2Vec 2.0 识别器进行深度 LSTM 口语检测

    本文利用基于字符的 Wav2Vec2.0 模型进行了大规模口语文档中的术语检测任务，实验结果表明，使用基于深度 LSTM 网络的共享发音嵌入空间的 bootstrapping 方法将 DNN-HMM 混合 ASR 的传统发音词汇的知识转化到基于图形的 Wav2Vec 中，能够显著优于 DNN-HMM 混合 ASR 和音素识别器的组合系统。

    Oct, 2022

  • 一种使用简单数据增强技术的全面依赖文本的端到端发音错误检测和诊断方法

    本文提出了一种新颖的文本依赖模型来利用前置文本，通过注意力机制将音频与前置文本的音素序列对齐，来实现完全的端到端结构，同时提出了三种简单的数据增强方法来缓解模型捕捉错读音素的能力问题，并在 L2-ARCTIC 数据集上表现出 56.08% 的 F-measure 指标，相较 CNN-RNN-CTC 模型有明显提升。

    Apr, 2021

  • 使用基于 Wav2vec2 的口音识别模型探究语音和韵律信息

    本研究旨在通过模型探测系统层面地分析自监督学习模型在口音识别任务的微调中音素和韵律信息变化，并比较其在 Phoneme 相关性任务和预测词级韵律任务中的表现，结果表明 AID 微调任务使得自监督模型的前两层学习到了更丰富的音素和韵律表示，并且与 ASR 任务的影响有一些相似性，此外在第 9 层观察到了明显的口音特定的音素表示，总之，本研究提供了 SSL 特征以及其与微调任务之间相互作用的认识。

    Jun, 2023

  • 基于文本感知的端到端发音错误检测和诊断

    本文设计了门控策略以及对比学习等方法，以便更好地利用先前给定的文本信息作为指导，有效地提高了自动语音纠音技术的性能。

    Jun, 2022