可扩展的多语料神经语言模型用于 ASR

Jul, 2019

可扩展的多语料神经语言模型用于 ASR

Scalable Multi Corpora Neural Language Models for ASR

Anirudh Raju, Denis Filimonov, Gautam Tiwari, Guitang Lan, Ariya Rastrow

TL;DR通过从异构语料库中训练神经语言模型、限制时延影响和处理第二遍修正器中的个性化偏差等挑战，本文在第二遍 n-best rescoring 框架中使用神经 LM，实现了 6.2% 的相对 WER 降低，而延迟增加很小。

Abstract

neural language models (NLM) have been shown to outperform conventional n-gram language models by a substantial margin in automatic speech recognition (ASR) and other tasks. There are, however, a number of challe

neural language models automatic speech recognition large-scale system training personalized bias

发现论文，激发创造

语音识别自适应多语料语言模型训练

本文提出了一种新颖的自适应多语料库训练算法，该算法可以动态学习和调整每个语料库的采样概率，相较于静态采样策略可使得领域内和领域外的适应任务分别取得相对 7% 和 9% 的字词错误率降低。

Nov, 2022

基于大规模互补神经语言模型的格栅重新评分

我们研究了使用大规模先进神经语言模型（NLMs）对自动语音识别（ASR）假设进行格栅再评分的效果。通过将最多 8 个 NLMs 进行组合，通过迭代式格栅生成，逐步改进给定格栅弧上的语言评分，我们逐渐降低 ASR 假设的错误。此外，我们还研究了在长篇演讲等持续语音的格栅序列中传递上下文信息（先前的再评分结果）的有效性。在使用演讲语料库进行实验时，通过组合这八个 NLMs 并使用上下文传递，我们相较于 ASR 一流基准线获得了 24.4% 的相对词错误率降低。另外，我们还进行了非迭代式的 NLM 组合和使用大规模 NLMs 的 100 最佳再评分的同时比较，验证了迭代式 NLM 组合进行格栅再评分的优势。

Dec, 2023

多阶段大型语言模型纠错用于语音识别

使用大型语言模型提高竞争性语音识别系统的性能，并通过多阶段方法结合传统语言模型重新评分和大型语言模型提示来进行 ASR 错误修正。

Oct, 2023

基于大规模语言模型的长篇数据重打分

研究表明，在使用大规模语言模型的情况下，对于长篇 ASR 测试集，可以使 Word Error Eate 和 Salient Term Error Rate 分别减少 8% 和 30%。

Jun, 2023

大规模语言模型重评分对竞争性 ASR 系统的影响与分析

本研究将大型语言模型（如 GPT-2, BERT, RoBERTa）应用于 ASR N-best rescoring，并将其与竞争性高、接近最新技术水平的 ASR 系统相结合。通过实验发现大型语言模型的双向性、预训练、领域内微调和上下文增强对 ASR 性能有显著改善作用，而词汇分析揭示了这些组件如何对 ASR 性能贡献。

Apr, 2022

利用大型语言模型攫取 ASR 不确定性

利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

Sep, 2023

关于预训练语言模型 N-gram 逼近的研究

本研究调查了预先训练的语言模型在自动语音识别中的潜在用途，对比了大规模文本抽样和概率转换的应用。在八个特定领域的语料库中，发现采样的近似方法支持使用，插值与大规模文本语料库一起使用对比基线三元组能使测试困惑度提高 15％，我们引入了一种有限制的词汇解码方法，这将进一步提高 5％的改进。

Jun, 2023

多语言和全非自回归 ASR 与大型语言模型融合：一项全面研究

在大模型时代，解码的自回归特性通常导致延迟成为一个重要瓶颈。我们提出了一个非自回归 LM 融合 ASR 系统，有效地利用了加速器硬件的并行化能力。我们的方法是将 USM 和 PaLM 2 语言模型以每个片段评分模式结合起来，在 FLEURS 和 YouTube 字幕上实现了相对 WER 的平均改进 10.8％和 3.6％。此外，我们的综合消融研究分析了关键参数，如 LLM 大小、上下文长度、词汇大小、融合方法等。例如，我们探讨了 LLM 大小从 128M 到 340B 参数对 ASR 性能的影响。该研究为实际大规模 LM 融合语音识别系统的有效性提供了有价值的见解。

Jan, 2024

探索大型语言模型与自动语音识别系统的整合：实证研究

本文旨在探讨将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中以提高转录准确性的潜力，并通过实验表明在当前阶段，使用 LLMs 的上下文学习能力来修正语音识别转录中的潜在错误仍然是一项具有挑战性的任务。

Jul, 2023

循环神经网络语言模型的扩展

本论文调查了循环神经网络语言模型（RNNLMs）的规模特性，对在 GPU 上训练非常大的 RNN 的方法进行了讨论，并探讨了有关模型大小、训练集大小、计算成本和内存方面的扩展性问题。研究结果展现出虽然训练成本更高，但相比于 N 元模型，RNNLMs 在标准测试中得到了更低的困惑度。此外，我们训练了目前已知的最大 RNN，并在 ASR 任务上表现出 18% 的相对词误差率提升，在最近发布的十亿字语言建模基准测试中呈现出新的最低困惑度、机器翻译的 1 BLEU 点表现提升以及词预测方面的 17% 相对命中率提高。

Feb, 2015