Feb, 2022

使用序列到序列模型进行自动语音识别的误差校正

PDF
TL;DR该研究使用预训练序列到序列模型 BART，并对其进行自适应训练来对自动语音识别中的发音和拼写错误进行纠正，并采用词级对齐的简单方法重新评分。实验结果表明，该策略在口音语音数据上有效地矫正了大量 ASR 错误，并在与基准系统的比较中产生了改进的 WER 结果。然而，在印地语语法错误纠正任务中，该模型捕捉更广泛上下文的能力受到限制。
post-editingautomatic speech recognitionsequence-to-sequence modelaccented speech datadenoising model
发现论文，激发创造
  • 基于 Transformer 序列到序列模型的自动语音识别纠错

    本文介绍了一种用于自动语音识别（ASR）的简单而有效的后处理模型。我们的模型使用基于 Transformer 的编码器 - 解码器架构，将 ASR 模型输出 “翻译” 成语法和语义正确的文本。作者探讨了不同的规范化和优化策略，并表明需要广泛的数据增强和预训练权重的初始化才能实现良好的性能。在 LibriSpeech 基准测试中，我们的方法在词错误率上表现优异，尤其是在更嘈杂的 dev-other 和 test-other 部分的评估数据集上。我们的模型还通过 6-gram 语言模型重新评分超过了基础模型，并接近于使用 Transformer-XL 神经语言模型重新评分的性能。

    Oct, 2019

  • 高精度纠错：一种用于纠正语音识别错误的后期编辑方法

    该研究提出了一种新的方法来通过后期编辑来纠正语音识别错误。通过使用一个神经序列标注器来逐字学习如何纠正 ASR（自动语音识别）假设，以及一个应用标注器返回的纠正的纠错模块，该解决方案适用于任何 ASR 系统，提供对正在纠正的错误的高精确度控制，尤其在生产环境中更为关键。研究结果显示，所提出的错误纠正模型的性能与之前的方法相当，同时需要更少的训练资源，适合于工业应用，其中推理延迟和训练时间是限制其他技术应用的关键因素。

    Jun, 2024

  • FastCorrect: 使用编辑对齐技术的快速音频语音识别错误纠正

    本文提出了一种基于编辑对齐的新型非自回归 (NAR) 自动语音识别 (ASR) 误差校正模型 FastCorrect，其将 ASR 输出语句的源词元素对齐到对应的地面真值句子的目标词元素，并根据编辑距离提取出每个源词元素对应的目标词个数，用于训练长度预测器及调整源词以进行并行生成，实验证明快速校正可以大大提高 ASR 的纠错速度，并且相比于前人的自回归校正模型和常用 NAR 模型有着更好的表现。

    May, 2021

  • 使用序列 - 序列模型缓解语音识别错误对聊天机器人的影响

    采用序列到序列模型解决语音识别误差对于开放域端到端对话生成的影响。将任务看做一个域适应问题，使用两个不同域的 ASR 转录和原始文本，并提出了两个独立编码器的模型，使其隐藏状态相似，并确保解码器预测相同的对话文本。实验结果表明该方法可以消除语音识别错误并帮助口语对话系统生成更相似于原始文本答案的响应。

    Sep, 2017

  • 基于多个输入假设和有约束的解码空间的强健 ASR 错误校正的 N-best T5 模型

    本文提出了一种基于 N-best T5 模型和约束解码过程的语音识别自动纠错方法，通过从预训练语言模型中传递知识和获取 ASR 解码空间中更丰富的信息，该方法在 ASR 后处理中取得了更好的性能表现。

    Mar, 2023

  • 利用机器翻译进行 ASR 纠错和领域适应

    本文提出了一种简单的技术，通过机器翻译实现 ASR 误差校正的领域自适应，我们使用了 Google ASR 和 ASPIRE 模型进行了实验，结果显示我们的方法可以使 Google ASR 输出的字错率下降 7%，其 BLEU 分数绝对值提高了 4 点；同时，通过流下游任务 Speaker Diarization，我们还评估了 ASR 误差校正，并捕捉了由 ASR 更正而获得的说话人风格、语法、结构和语义改进。

    Mar, 2020

  • 一种用于端到端语音识别的拼写校正模型

    该研究提出了一种新方法以训练拼写纠错模型来纠正注意力机制序列到序列语音识别模型中的错误，从而改进了性能。在 LibriSpeech 数据集上，该模型相对于基线模型的相对改进为 18.6％，相对于使用扩展语言模型重新评分的 n-best 列表的改进为 29.0％。

    Feb, 2019

  • 利用预训练语言模型生成人类可读的自动语音识别转录

    本文提出了一个自动语音识别后处理模型，旨在将不正确和嘈杂的 ASR 输出转换为可读的文本，并使用元数据提取语料库构建了一种任务特定的数据集，并使用两阶段训练策略来微调 RoBERTa 预训练模型。在测试集上，我们的模型在可读性感知 WER（RA-WER）上比基线模型提高了 13.26％，在 BLEU 度量上提高了 17.53％。人类评估还证明我们的方法可以生成比基线更易读的转录本。

    Feb, 2021

  • 生成式大型语言模型能否执行 ASR 错误校正？

    本文使用 ChatGPT 模型作为例子，研究其在零样本或一次样本设置中执行 ASR 错误校正的能力，并提出了无约束错误校正和 N-best 约束错误校正方法。结果表明，使用强大的 ChatGPT 模型进行错误校正可以大大提高 ASR 系统性能。

    Jul, 2023

  • 基于注意力机制的序列到序列模型最小词错率训练

    本文研究了训练注意力机制的序列到序列模型来直接最小化期望的单词错误率，通过实验证明通过 N-best 列表的解码假设比基于模型的采样方法效果更好，相对于基准系统性能提高了 8.2%。

    Dec, 2017