EMNLPSep, 2021

FastCorrect 2：自动语音识别中的多候选快速纠错

PDF
TL;DR本文提出了 FastCorrect 2，一种错误校正模型，并采用多候选项作为输入，以提高纠错精度。 FastCorrect 2 采用非自回归生成来进行快速推理，其中包括一个编码器，用于处理多个源语句，并且根据每个源标记的预测持续时间生成调整后的源语句；同时，提出了一种新的对齐算法和候选预测器，以最大程度地实现多个句子在令牌和发音相似性方面的令牌对齐，并检测适合解码器的最合适的候选项。实验结果表明，FastCorrect 2 可以减少单个候选者的 WER，比联级重评分和校正流水线更有效，并可用作 ASR 的统一后处理模块。
发现论文，激发创造
  • FastCorrect: 使用编辑对齐技术的快速音频语音识别错误纠正

    本文提出了一种基于编辑对齐的新型非自回归 (NAR) 自动语音识别 (ASR) 误差校正模型 FastCorrect，其将 ASR 输出语句的源词元素对齐到对应的地面真值句子的目标词元素，并根据编辑距离提取出每个源词元素对应的目标词个数，用于训练长度预测器及调整源词以进行并行生成，实验证明快速校正可以大大提高 ASR 的纠错速度，并且相比于前人的自回归校正模型和常用 NAR 模型有着更好的表现。

    May, 2021

  • SoftCorrect: 语音识别的软检测纠错

    本文提出了 SoftCorrect, 一种具有软错误检测机制的误差校正方法，该方法通过由专门设计的语言模型产生的一种概率来检测单词是否正确，然后设计了一种受限制的 CTC 损失，仅复制检测到的错误单词，以便解码器集中进行错误单词的更正

    Dec, 2022

  • UCorrect：一种无监督的自动语音识别错误修正框架

    自动语音识别（ASR）误差校正中，提出了一种不依赖于训练数据的无监督检测 - 生成 - 选择框架 UCorrect，它能显著减少词语错误率（WER），无需微调可达 6.83%，微调后可达 14.29%，显著优于其他 NAR 修正模型，并具有竞争性的低延迟；同时，它是一种通用方法，可减少不同解码策略和不同规模数据集上训练的 ASR 模型的 WER。

    Jan, 2024

  • 基于多个输入假设和有约束的解码空间的强健 ASR 错误校正的 N-best T5 模型

    本文提出了一种基于 N-best T5 模型和约束解码过程的语音识别自动纠错方法，通过从预训练语言模型中传递知识和获取 ASR 解码空间中更丰富的信息，该方法在 ASR 后处理中取得了更好的性能表现。

    Mar, 2023

  • 使用序列到序列模型进行自动语音识别的误差校正

    该研究使用预训练序列到序列模型 BART，并对其进行自适应训练来对自动语音识别中的发音和拼写错误进行纠正，并采用词级对齐的简单方法重新评分。实验结果表明，该策略在口音语音数据上有效地矫正了大量 ASR 错误，并在与基准系统的比较中产生了改进的 WER 结果。然而，在印地语语法错误纠正任务中，该模型捕捉更广泛上下文的能力受到限制。

    Feb, 2022

  • 高精度语音搜索查询纠错通过可检索的语音 - 文本嵌入

    通过使用多模式语音文本嵌入网络，从语音文本数据库中直接查询校正候选项，以消除音频 - 假设不匹配问题，并在将候选项添加到原始候选列表之前使用语音 - 文本嵌入距离对候选项进行评分，该方法在改善检索率的同时，降低了相对的词错误率（WER）。

    Jan, 2024

  • 高精度纠错：一种用于纠正语音识别错误的后期编辑方法

    该研究提出了一种新的方法来通过后期编辑来纠正语音识别错误。通过使用一个神经序列标注器来逐字学习如何纠正 ASR（自动语音识别）假设，以及一个应用标注器返回的纠正的纠错模块，该解决方案适用于任何 ASR 系统，提供对正在纠正的错误的高精确度控制，尤其在生产环境中更为关键。研究结果显示，所提出的错误纠正模型的性能与之前的方法相当，同时需要更少的训练资源，适合于工业应用，其中推理延迟和训练时间是限制其他技术应用的关键因素。

    Jun, 2024

  • 基于操作预测的 ASR 误差纠正方法

    本文提出了一种利用纠错操作预测的 ASR 错误校正方法，该方法可降低解码过程的延迟，提高推理速度并维持相同水平的准确性。

    Aug, 2022

  • 面向语音识别的纠错式语言模型训练

    通过优先考虑易误识别词汇，使用大型语言模型进行纠错训练，以提高自动语音识别的性能，对于领域适应任务可获得相对 5.5% 的字词错误率降低。

    Oct, 2023

  • PATCorrect：非自回归音素增强 Transformer 用于 ASR 误差校正

    本文提出了一种基于 Transformer 模型和音素编码器的新型非自回归（NAR）纠错方法，该方法通过减少单词错误率（WER）来提高转录质量，并在不同的上游 ASR 系统中实现了鲁棒性能，特别是在 GPU 硬件上实现了与其他 NAR 模型相当的推断延迟，并且比自回归模型快 4.2-6.7 倍。

    Feb, 2023