Nov, 2022

SpeechBlender: 一种用于生成发音错误数据的语音增强框架

PDF
TL;DR本文介绍了 SpeechBlender 数据扩充方法生成发音错误样本的 Fine-grained 数据增强流水线，在发音质量评估任务中展示了其有效性，表现优于其他数据增强方法。
发现论文，激发创造
  • 计算机辅助发音训练 -- 语音合成几乎是您所需的全部

    本研究提出了基于音素到音素转换、文本到语音转换和语音到语音转换三个方法来生成正确发音和发音错误的合成语音，将语音生成作为检测语音发音错误的一流方法，并在检测发音和词汇强调错误的任务中评估了这些技术，证明这些技术不仅提高了三个机器学习模型检测发音错误的准确性，而且还有助于建立该领域的新的技术标准。

    Jul, 2022

  • 采样、翻译、重组：利用音频对齐进行数据增广的端到端语音翻译

    本文提出了一种基于声音对齐、语言属性和翻译的数据增强方法，通过从后缀内存中的文本和音频数据中进行采样，翻译增强后的转录结果，最后重新组合连接的音频段和生成的翻译，不仅训练了机器翻译系统，还使用了基本的现成组件，其资源需求与知识蒸馏相似，但对于五种语言对和两种欧洲议会会议语言对的 CoVoST 2 和 Europarl-ST，在 BLEU 分数上能够持续提高至多 0.9 和 1.1 个点。

    Mar, 2022

  • MixSpeech: 低资源语音识别数据增强

    本文提出了 MixSpeech，一种基于混合学习的自动语音识别数据增强方法，通过该方法可以有效地提高模型性能，实验结果表明该方法优于基准模型和其他流行的数据增强方法。

    Feb, 2021

  • 有效增强机制改进终端到终端模型的发音错误检测

    本研究提出两种模型策略以加强 E2E MD 模型的区分能力 —— 输入增强和标签增强，经实验证明较传统的 DNN-HMM 声学模型效果更佳，可以用于 L2 学习者语音纠错。

    Oct, 2021

  • 以深假音频作为训练自动语音转文字模型的数据增强技术

    使用深度伪造音频的数据增广技术，通过在各种情景下训练语音转文字模型，验证了提出的框架。

    Sep, 2023

  • 减少、重用、循环利用：扰动数据是否比其他语言增强对于低资源自我监督语音模型更好

    利用音频增强方法预训练自监督表示学习（SSRL）模型，相比监督模型，在低资源语言中改善了下游音素识别性能。研究比较了不同的增强技术，包括音高变化、噪音添加、目标语言口音和其他语言语音，并发现了综合增强（噪音 / 音高）是最佳的增强策略，超过了口音和语言知识迁移。研究结果表明，在资源有限的语言中，领域内的合成增强可以优于口音或其他语言的知识迁移。

    Sep, 2023

  • 零样本自动发音评估

    提出基于 HuBERT 的零样本自动发音评估方法，使用遮罩模块破坏语音输入获取令牌序列并使用得分模块测量错误恢复的令牌数量，在 speechocean762 上得到了可比较于监督回归基线且优于非回归基线的表现，同时分析了遮罩策略对自动发音评估性能的影响。

    May, 2023

  • 训练对话模型以更好地处理语音识别错误的数据增强

    本文探讨了通过数据增强的方法，将 ASR 的噪声注入到对话模型的训练数据中，以提高虚拟助手的稳定性。

    Jun, 2020

  • 使用自监督预训练和数据增强增强的直接语音翻译

    本文讨论了直接语音到语音翻译模型面临的数据稀缺性问题，探索了自监督预训练和数据增强技术来解决此问题，实验表明自监督预训练可以提高模型性能，结合数据增强技术可以进一步提高模型性能。

    Apr, 2022

  • 使用 SpecAugment 进行端到端语音翻译

    本研究探讨了一种简单的数据增强技术 SpecAugment，用于端到端的语音翻译，通过遮蔽频道块和 / 或时间步骤，减轻过拟合，对 LibriSpeech Audiobooks En->Fr 数据集 BLEU 提高了 2.2％，对 IWSLT TED-talks En-> 通用德语数据集提高了 1.2％，并证明这一方法在各种数据条件下都能带来显著的改进。

    Nov, 2019