Jun, 2023

使用 MASK 预训练的端到端单词级发音评估

PDF
TL;DR本文提出了一种名为 MPA 的简单而有效的方法，通过采用掩码预测策略，支持端到端的训练过程，可在不使用任何对齐组件的情况下进行发音评估并在很大程度上解决误对齐问题。
pronunciation assessmentcomputer-aided trainingmpamask-predict strategyend-to-end training
发现论文，激发创造
  • MultiPA: 一个用于封闭和开放响应场景的多任务语音发音评估系统

    本研究提出了一种名为 MultiPA 的多任务发音评估模型，它相较于基于 Kaldi 的系统有更简单的格式要求以及与其他神经网络模型更好的兼容性，其实验结果表明在闭合反馈场景下 MultiPA 能够达到可比较的性能，同时在直接用于开放式反馈时保持更加稳健的表现。

    Aug, 2023

  • 零样本自动发音评估

    提出基于 HuBERT 的零样本自动发音评估方法，使用遮罩模块破坏语音输入获取令牌序列并使用得分模块测量错误恢复的令牌数量，在 speechocean762 上得到了可比较于监督回归基线且优于非回归基线的表现，同时分析了遮罩策略对自动发音评估性能的影响。

    May, 2023

  • 基于文本感知的端到端发音错误检测和诊断

    本文设计了门控策略以及对比学习等方法，以便更好地利用先前给定的文本信息作为指导，有效地提高了自动语音纠音技术的性能。

    Jun, 2022

  • 自动发音评估 - 综述

    发音评估和其在计算机辅助发音训练（CAPT）中的应用近年来取得了令人瞩目的进展。本文回顾了发音评估方法在音位和韵律方面的应用，分类了主要的研究趋势中观察到的挑战，并强调了现有的限制和可用资源。接着讨论了剩余的挑战和未来工作的可能方向。

    Oct, 2023

  • 多方面关注的层次发音评估

    本研究提出了一种基于多方面注意力和分层表示的自动发音评估模型（ HiPAMA ），可在不同层次（如音素、单词和句子）上评估发音的多个方面（ 如准确性、流利度和完整性），从而实现更全面的反馈评估

    Nov, 2022

  • 一种端到端的 L2 英语语音错误发音检测系统，利用新型抗噪声建模技术

    本论文提出了一种新的端到端自动语音识别方法，使用扩展后的原始 L2 语音集和其对应的反语音集，以更好地识别分类和非分类发音错误，并通过转移学习范式来获得 E2E-based MDD 系统的初始模型估计，在 L2-ARCTIC 数据集上进行了广泛的实验，结果表明我们的最佳系统在 F1 分数方面胜过现有的 E2E 基线系统和基于发音评分 (GOP) 的方法，分别提高了 11.05% 和 27.71%。

    May, 2020

  • 通过语音水平和音素水平屏蔽方法改善语音表示学习

    本研究提出两种掩蔽方法（语音水平掩蔽和音素水平掩蔽），并通过这两种方法的预训练，在音素分类和说话人识别两个下游任务上评估。实验表明，所提出的掩蔽方法有助于提高语音表示的性能。

    Oct, 2022

  • 自我偏置的自监督学习用于 ASR

    本文提出了通过微调模型来引导自监督方法学习特定任务的方法，并提出了 MPPT 的变体，可以用于低存储占用的流式模型。这些方法在 Librispeech 语料库上进行的自动语音识别实验中取得了显著的性能提高。

    Nov, 2022

  • 有效增强机制改进终端到终端模型的发音错误检测

    本研究提出两种模型策略以加强 E2E MD 模型的区分能力 —— 输入增强和标签增强，经实验证明较传统的 DNN-HMM 声学模型效果更佳，可以用于 L2 学习者语音纠错。

    Oct, 2021

  • 一种有效的端到端建模方法用于发音错误检测

    本研究采用 E2E 模型中的混合 CTC-Attention 方法，并针对中文发音检测任务进行了输入扩充，使结果更加适合该任务。实验结果表明，与传统的混合 DNN-HMM 系统相比，该方法能够大大简化处理流程并显著提高性能。

    May, 2020