利用机器翻译进行 ASR 纠错和领域适应

Mar, 2020

利用机器翻译进行 ASR 纠错和领域适应

ASR Error Correction and Domain Adaptation Using Machine Translation

Anirudh Mani, Shruti Palaskar, Nimshi Venkat Meripo, Sandeep Konam, Florian Metze

TL;DR本文提出了一种简单的技术，通过机器翻译实现 ASR 误差校正的领域自适应，我们使用了 Google ASR 和 ASPIRE 模型进行了实验，结果显示我们的方法可以使 Google ASR 输出的字错率下降 7%，其 BLEU 分数绝对值提高了 4 点；同时，通过流下游任务 Speaker Diarization，我们还评估了 ASR 误差校正，并捕捉了由 ASR 更正而获得的说话人风格、语法、结构和语义改进。

Abstract

Off-the-shelf pre-trained automatic speech recognition (ASR) systems are an increasingly viable service for companies of any size building speech-based products. While these ASR systems are trained on large amounts of data, domain mismatch is still an issue for many such parties that w

automatic speech recognition machine translation domain adaptation word error rate speaker diarization

发现论文，激发创造

无监督领域自适应语音识别与无监督错误校正

本文提出了一种无监督自适应错误校正方法，可以在未见过的领域中恢复由领域差异引起的语音识别错误，使用伪标记技术生成学习样本，在持续学习中以减少过度拟合，并使用编码器 - 解码器校正模型结合其他信息以进一步提高适应性，实验结果表明，该方法相对于未自适应的 ASR 系统显著降低了单词错误率，并可用于其他适应方法以带来额外的 10% 的性能提升。

Sep, 2022

使用合成数据的端到端自适应语音识别系统的简单基线

本文提出了一种简单的基线技术，使用单个扬声器的 TTS 引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用 ASR 模型的最终密集层进行微调，结果表明，单个发声者 TTS 数据与仅微调最终密集层的结合可合理提高单词错误率.

Jun, 2022

改进不可适应的 ASR 系统

本文介绍一种基于 OpenAI Whisper ASR 的大规模 ASR 系统来评估适应方案的方法，该方法采用基于错误校正的方法并且可应用于不同结构的语音识别模型以提高模型的适应性。

Jun, 2023

利用大型语言模型进行零样本 ASR 领域自适应的语料合成

提出了一种新的自适应 ASR 模型到新目标领域的策略，其中使用大型语言模型生成目标领域文本语料库，并使用最先进的可控语音合成模型生成相应的语音，通过在上下文中进行指令微调以提高大型语言模型生成新领域文本语料库的效果，实验证明该方法在未知目标领域上能达到平均相对词错误率提高 28%，且源领域性能无降低。

Sep, 2023

突破数据屏障：通过对抗稳定性训练实现鲁棒性语音翻译

本文提出了一种通过对编码器和解码器同时采用对抗学习和数据增强，使得神经机器翻译模型更加鲁棒处理语音识别误差的训练架构，并在 IWSLT2018 语音翻译任务上实现了与自然文本几乎相当的结果，在有识别噪声的 ASR 输出上比基准系统高 2.83 个 BLEU 分数。

Sep, 2019

通过对抗域适应缓解语音识别误差对口语问答的影响

该研究提出利用对抗模型来适应 ASR 错误，减少其对口语问答系统的影响，实验证明其效果优于之前的最佳模型。

Apr, 2019

多领域训练提高口音语音识别

本文致力于提高自动语音识别系统的准确性与泛化能力，运用多种口音以构建微调数据集用以提高模型的鲁棒性，同时展示多领域数据集优化效果。

Mar, 2023

面向特定领域语音识别的深度学习系统

使用预训练的 DeepSpeech2 和 Wav2Vec2 声学模型，提出了基于领域的语音自动识别系统，并通过半监督机器注释的方式收集领域特定的数据，研究结果表明，该系统即使在具有更高的字词错误率的情况下，性能仍优于商业自动语音识别系统，且在人工转录的结果上也呈现出类似的效果。同时，也探讨了使用自动语音识别文字转录来辅助口语理解的可行性。

Mar, 2023

利用预训练语言模型生成人类可读的自动语音识别转录

本文提出了一个自动语音识别后处理模型，旨在将不正确和嘈杂的 ASR 输出转换为可读的文本，并使用元数据提取语料库构建了一种任务特定的数据集，并使用两阶段训练策略来微调 RoBERTa 预训练模型。在测试集上，我们的模型在可读性感知 WER（RA-WER）上比基线模型提高了 13.26％，在 BLEU 度量上提高了 17.53％。人类评估还证明我们的方法可以生成比基线更易读的转录本。

Feb, 2021

使用序列到序列模型进行自动语音识别的误差校正

该研究使用预训练序列到序列模型 BART，并对其进行自适应训练来对自动语音识别中的发音和拼写错误进行纠正，并采用词级对齐的简单方法重新评分。实验结果表明，该策略在口音语音数据上有效地矫正了大量 ASR 错误，并在与基准系统的比较中产生了改进的 WER 结果。然而，在印地语语法错误纠正任务中，该模型捕捉更广泛上下文的能力受到限制。

Feb, 2022