Oct, 2022

利用随机句子串联来提高短视频语音识别

PDF
TL;DR本文提出了一种称为随机语音串接（RUC）的方法，以缓解短视频语音识别任务中的训练 - 测试语音长度不匹配问题，实验证明使用该方法可明显提高模型性能，使得在 14 种语言上的平均词错误率降低了 3.64%。
automatic speech recognitiontrain-test mismatchrandom utterance concatenationshort-video spontaneous speechword error rate reduction
发现论文，激发创造
  • 最小化工作量数据增广方法用于自动语音识别和翻译

    研究数据扩增技术，通过将原始数据例子进行连接来建立新的训练实例，以改善用于原始数据优化的 Transformer 和 Conformer 模型，增加了对另外四种非英语语言识别方面的准确性。并证明其也适用于语音翻译任务。

    Oct, 2022

  • 高精度语音搜索查询纠错通过可检索的语音 - 文本嵌入

    通过使用多模式语音文本嵌入网络，从语音文本数据库中直接查询校正候选项，以消除音频 - 假设不匹配问题，并在将候选项添加到原始候选列表之前使用语音 - 文本嵌入距离对候选项进行评分，该方法在改善检索率的同时，降低了相对的词错误率（WER）。

    Jan, 2024

  • 混合 CTC/RNN-T 快速 Conformer 的多语言视听语音识别

    通过引入多语种音视频语音识别模型和快速调整器模型，提高了模型性能和音频噪音稳健性。在多语种数据集上进行训练，达到了领先水平，并在 MuAViC 基准测试中显著减少了平均识别错误率。

    Mar, 2024

  • 带标点的端到端流式自动语音识别模型的改进训练

    本文提出了一种基于 Transformer 编码器和 CTC loss 的方法，实现对输入语音的标点文本进行预测，并通过对文本分块和话语的 CTC 损失组合，提高了标点预测的准确性和单词错误率。

    Jun, 2023

  • UCorrect：一种无监督的自动语音识别错误修正框架

    自动语音识别（ASR）误差校正中，提出了一种不依赖于训练数据的无监督检测 - 生成 - 选择框架 UCorrect，它能显著减少词语错误率（WER），无需微调可达 6.83%，微调后可达 14.29%，显著优于其他 NAR 修正模型，并具有竞争性的低延迟；同时，它是一种通用方法，可减少不同解码策略和不同规模数据集上训练的 ASR 模型的 WER。

    Jan, 2024

  • 一种用于提高自动语音识别中噪声稳健性的课程学习方法

    这篇论文提出了一种相对简单的课程式的训练策略，称为 Accordion Annealing（ACCAN），它利用一个多阶段的训练计划来增加语音识别系统的噪声韧性，同时应用 Per-epoch Noise Mixing（PEM）方法来动态改变训练数据的信噪比，该方法在 20dB 至 - 10dB SNR 范围内的平均词错误率取得了 31.4％的下降。

    Jun, 2016

  • 利用支持性文本数据启动有限转录的自动语音识别系统开发

    本文研究发现，使用不同数量的文本数据进行训练和 fine-tune transformer model 可以降低自动语音识别（ASR）的 word error rate，其中 lexicon 对于改善 ASR 性能没有多大作用，而使用必要量的文本数据可以通过利用自然语言处理技术使自动语音识别接近人类的水平。

    Feb, 2023

  • 高效音视关联的 Conformer 用于鲁棒语音识别

    本研究建议使用音频和视觉模态来改善基于 Efficient Conformer Connectionist Temporal Classification 架构的噪声鲁棒性，并在 LRS2 和 LRS3 数据集上进行了实验。结果表明，使用音频和视觉模态可以更好地识别存在环境噪声的语音，并显着加速训练，达到了 2.3％和 1.8％的字错误率。

    Jan, 2023

  • 用于德语端到端语音识别的大语料 CTC 分割

    本研究结合之前未标注的语音数据通过采用 CTC 预训练的两阶段方法生成训练数据，使用 CTC 和 attention Transformer 模型对德语语音识别进行训练，实现了 12.8％的识别错误率，超过了传统混合 DNN / HMM ASR 的 14.4％的基础水平。

    Jul, 2020

  • 端到端多模态语音识别

    探讨了如何应用视觉通道，以及 Connectionist Temporal Classification (CTC) 和 sequence-to-sequence (S2S) 的方法来提高自动语音识别 (ASR) 的鲁棒性，并比较了两种方法在干净和嘈杂的数据上的效果。

    Apr, 2018