MMJul, 2022

计算机辅助发音训练 -- 语音合成几乎是您所需的全部

PDF
TL;DR本研究提出了基于音素到音素转换、文本到语音转换和语音到语音转换三个方法来生成正确发音和发音错误的合成语音，将语音生成作为检测语音发音错误的一流方法，并在检测发音和词汇强调错误的任务中评估了这些技术，证明这些技术不仅提高了三个机器学习模型检测发音错误的准确性，而且还有助于建立该领域的新的技术标准。
computer-assisted pronunciation trainingbayesian networksdeep learninggenerative modelspronunciation error detection
发现论文，激发创造
  • 自动发音评估 - 综述

    发音评估和其在计算机辅助发音训练（CAPT）中的应用近年来取得了令人瞩目的进展。本文回顾了发音评估方法在音位和韵律方面的应用，分类了主要的研究趋势中观察到的挑战，并强调了现有的限制和可用资源。接着讨论了剩余的挑战和未来工作的可能方向。

    Oct, 2023

  • 基于文本感知的端到端发音错误检测和诊断

    本文设计了门控策略以及对比学习等方法，以便更好地利用先前给定的文本信息作为指导，有效地提高了自动语音纠音技术的性能。

    Jun, 2022

  • 利用自监督语音表征进行发音错误检测

    本文研究了自我监督学习（SSL）模型在第二语言学习者的发音错误检测任务中的应用，比较了使用母语英语数据训练模型的语音识别（PR）方法和直接使用非母语英语数据训练模型的目标任务方法，通过对 L2Arctic 和 EpaDB 两个非母语语音数据集上的评估发现，直接训练用于目标任务的下游模型表现最佳，而大多数上游模型在该任务中表现相似。

    Jul, 2023

  • 用于自动语音识别的合成跨口音数据增强

    本研究旨在改进口音转换模型，通过加入声学知识，提高模型对不同口音发音的准确性，采用生成数据训练 ASR 系统，实验结果表明，合成带有口音的数据有助于提高 ASR 系统对已见口音的语音理解，但不能推广到未见口音及纯母语模型上。

    Mar, 2023

  • CorrectSpeech: 一款全自动的语音纠正和口音减少系统

    提出一种全自动的语音纠错和口音减少系统，称为 CorrectSpeech，能够识别、对齐、编辑语音，用于纠正不当用词、发音错误等问题。实验结果验证了该系统的实用性和效果，可用于语音录音的口音校正。

    Apr, 2022

  • 零样本自动发音评估

    提出基于 HuBERT 的零样本自动发音评估方法，使用遮罩模块破坏语音输入获取令牌序列并使用得分模块测量错误恢复的令牌数量，在 speechocean762 上得到了可比较于监督回归基线且优于非回归基线的表现，同时分析了遮罩策略对自动发音评估性能的影响。

    May, 2023

  • 一种端到端的 L2 英语语音错误发音检测系统，利用新型抗噪声建模技术

    本论文提出了一种新的端到端自动语音识别方法，使用扩展后的原始 L2 语音集和其对应的反语音集，以更好地识别分类和非分类发音错误，并通过转移学习范式来获得 E2E-based MDD 系统的初始模型估计，在 L2-ARCTIC 数据集上进行了广泛的实验，结果表明我们的最佳系统在 F1 分数方面胜过现有的 E2E 基线系统和基于发音评分 (GOP) 的方法，分别提高了 11.05% 和 27.71%。

    May, 2020

  • SpeechBlender: 一种用于生成发音错误数据的语音增强框架

    本文介绍了 SpeechBlender 数据扩充方法生成发音错误样本的 Fine-grained 数据增强流水线，在发音质量评估任务中展示了其有效性，表现优于其他数据增强方法。

    Nov, 2022

  • DTW-SiameseNet：一种用于发音错误检测和更正的动态时间扭曲连锁网络

    本研究提出了一种针对 TTS 语音合成任务中的发音错误检测和校正的高精度、适用于 PDA 的发音学习框架，同时还提出了一种基于动态时间规整技术和度量学习的发音错误检测模型 DTW-SiameseNet。结果表明，与基于音素和音频的基线相比，我们的方法平均提高了～6％ 的发音准确率，并且此方法不受语言和隐私问题的影响。

    Mar, 2023

  • 一种有效的端到端建模方法用于发音错误检测

    本研究采用 E2E 模型中的混合 CTC-Attention 方法，并针对中文发音检测任务进行了输入扩充，使结果更加适合该任务。实验结果表明，与传统的混合 DNN-HMM 系统相比，该方法能够大大简化处理流程并显著提高性能。

    May, 2020